airflow.providers.google.cloud.transfers.mssql_to_gcs¶

MsSQL 到 GCS 的操作符。

类¶

MSSQLToGCSOperator

将数据从 Microsoft SQL Server 复制到 Google Cloud Storage，格式可为 JSON、CSV 或 Parquet。

模块内容¶

class airflow.providers.google.cloud.transfers.mssql_to_gcs.MSSQLToGCSOperator(*, bit_fields=None, mssql_conn_id='mssql_default', **kwargs)[源代码]¶

基类: airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

将数据从 Microsoft SQL Server 复制到 Google Cloud Storage，格式可为 JSON、CSV 或 Parquet。

参数:

bit_fields (collections.abc.Sequence[str] | None) – MSSQL “BIT” 数据类型的字段名称序列，将在模式中解释为 “BOOLEAN”。未包含在此序列中的 “BIT” 字段，默认将解释为 “INTEGER”。
mssql_conn_id – 指向特定 MSSQL hook 的引用。

示例:

以下操作符将从给定 MSSQL 数据库中的 Customers 表导出数据，然后将其上传到 'mssql-export' GCS 存储桶（连同模式文件）。

export_customers = MSSQLToGCSOperator(
    task_id="export_customers",
    sql="SELECT * FROM dbo.Customers;",
    bit_fields=["some_bit_field", "another_bit_field"],
    bucket="mssql-export",
    filename="data/customers/export.json",
    schema_filename="schemas/export.json",
    mssql_conn_id="mssql_default",
    gcp_conn_id="google_cloud_default",
    dag=dag,
)

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：MSSQLToGCSOperator

ui_color = '#e0a98c'[源代码]¶

type_map[源代码]¶

mssql_conn_id = 'mssql_default'[源代码]¶

bit_fields = [][源代码]¶

property db_hook: airflow.providers.microsoft.mssql.hooks.mssql.MsSqlHook[源代码]¶

query()[源代码]¶

查询 MSSQL 并返回结果游标。

返回:: mssql 游标

field_to_bigquery(field)[源代码]¶

将 DBAPI 字段转换为 BigQuery 模式格式。

classmethod convert_type(value, schema_type, **kwargs)[源代码]¶

获取 MSSQL 中的值并将其转换为对 JSON/Google Cloud Storage/BigQuery 安全的值。

Datetime, Date 和 Time 将转换为 ISO 格式的字符串。

get_openlineage_facets_on_start()[源代码]¶