`airflow.providers.google.cloud.transfers.mssql_to_gcs`¶

MsSQL 到 GCS 操作符。

模块内容¶

类¶

MSSQLToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 Microsoft SQL Server 复制到 Google Cloud Storage。

class airflow.providers.google.cloud.transfers.mssql_to_gcs.MSSQLToGCSOperator(*, bit_fields=None, mssql_conn_id='mssql_default', **kwargs)[源代码]¶

基类: airflow.providers.google.cloud.transfers.sql_to_gcs.BaseSQLToGCSOperator

以 JSON、CSV 或 Parquet 格式将数据从 Microsoft SQL Server 复制到 Google Cloud Storage。

参数

bit_fields (collections.abc.Sequence[str] | None) – MSSQL “BIT” 数据类型字段名称的序列，在 schema 中解释为“BOOLEAN”。此序列中未包含的“BIT”字段将默认解释为“INTEGER”。
mssql_conn_id – 对特定 MSSQL hook 的引用。

示例:

以下操作符将从给定 MSSQL 数据库中的 Customers 表导出数据，然后将其上传到 ‘mssql-export’ GCS 存储桶（以及 schema 文件）。

export_customers = MSSQLToGCSOperator(
    task_id="export_customers",
    sql="SELECT * FROM dbo.Customers;",
    bit_fields=["some_bit_field", "another_bit_field"],
    bucket="mssql-export",
    filename="data/customers/export.json",
    schema_filename="schemas/export.json",
    mssql_conn_id="mssql_default",
    gcp_conn_id="google_cloud_default",
    dag=dag,
)

另请参阅

有关如何使用此操作符的更多信息，请查看指南： MSSQLToGCSOperator

ui_color = '#e0a98c'[源代码]¶

type_map[源代码]¶

query()[源代码]¶

查询 MSSQL 并返回结果的游标。

返回: mssql 游标

field_to_bigquery(field)[源代码]¶

将 DBAPI 字段转换为 BigQuery schema 格式。

classmethod convert_type(value, schema_type, **kwargs)[源代码]¶

从 MSSQL 获取值并将其转换为对 JSON/Google Cloud Storage/BigQuery 安全的值。

Datetime、Date 和 Time 将转换为 ISO 格式的字符串。

airflow.providers.google.cloud.transfers.mssql_to_gcs¶

模块内容¶

类¶

`airflow.providers.google.cloud.transfers.mssql_to_gcs`¶