Google Cloud BigQuery 到 Microsoft SQL Server 传输操作符¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库服务。Microsoft SQL Server (MsSQL) 是由 Microsoft 开发的关系型数据库管理系统。此操作符可用于将数据从 BigQuery 表复制到 MSSQL。

前置任务¶

要使用这些操作符，您必须做以下几件事

使用 Cloud Console 选择或创建一个 Cloud Platform 项目。

为您的项目启用计费，具体说明请参见 Google Cloud 文档。

启用 API，具体说明请参见 Cloud Console 文档。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参见安装。
设置 Google Cloud 连接.

操作符¶

将数据从 BigQuery 表复制到 MSSQL 是通过 BigQueryToMsSqlOperator 操作符来执行的。

使用 Jinja 模板配合 target_table_name, impersonation_chain, dataset_id, table_id, source_project_dataset_table 动态定义值。

您可以使用参数 selected_fields 来限制要复制的字段（默认为所有字段），也可以使用参数 replace 来覆盖目标表而不是追加数据。更多信息，请参阅上方链接。

传输数据¶

以下操作符将数据从 BigQuery 表复制到 MsSQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mssql.py

bigquery_to_mssql = BigQueryToMsSqlOperator(
    task_id="bigquery_to_mssql",
    mssql_conn_id=CONNECTION_ID,
    source_project_dataset_table=f"{PROJECT_ID}.{BIGQUERY_DATASET_NAME}.{BIGQUERY_TABLE}",
    target_table_name=SQL_TABLE,
    replace=False,
)

参考¶

更多信息，请参阅