Google Cloud BigQuery 到 MySQL 传输操作符¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库。 MySQL 是一个开源关系数据库管理系统。此操作符可用于将数据从 BigQuery 表复制到 MySQL。

先决任务¶

要使用这些操作符，您必须完成以下事项

使用 Cloud Console 选择或创建一个 Cloud Platform 项目。

为您的项目启用结算功能，具体说明请参见 Google Cloud 文档。

启用 API，具体说明请参见 Cloud Console 文档。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参见安装。
设置 Google Cloud 连接.

操作符¶

使用 BigQueryToMySqlOperator 操作符可以将数据从一个 BigQuery 表复制到另一个表。

对 target_table_name, impersonation_chain, dataset_id, table_id, dataset_id, table_id 使用 Jinja 模板来动态定义值。

您可以使用参数 selected_fields 来限制要复制的字段（默认复制所有字段），也可以使用参数 replace 来覆盖目标表而不是附加到目标表。更多信息请参考上面的链接。

传输数据¶

以下操作符将数据从 BigQuery 表复制到 MySQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mysql.py

bigquery_to_mysql = BigQueryToMySqlOperator(
    task_id="bigquery_to_mysql",
    dataset_table=f"{DATASET_NAME}.{TABLE}",
    target_table_name=destination_table,
    replace=False,
)

参考¶

更多信息请参考