Google Cloud BigQuery 传输到 MySQL 算子¶

Google Cloud BigQuery 是 Google Cloud 的无服务器数据仓库服务。MySQL 是一个开源关系数据库管理系统。此算子可用于将数据从 BigQuery 表复制到 MySQL。

先决条件任务¶

要使用这些算子，您必须完成以下几件事

使用 Cloud Console 选择或创建 Cloud Platform 项目。

如 Google Cloud 文档中所述，为您的项目启用结算功能。

如 Cloud Console 文档中所述，启用 API。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参考安装。
设置 Google Cloud 连接.

算子¶

使用 BigQueryToMySqlOperator 算子将数据从一个 BigQuery 表复制到另一个表。

使用 Jinja 模板和 target_table_name, impersonation_chain, dataset_id, table_id, dataset_id, table_id 动态定义值。

您可以使用参数 selected_fields 来限制要复制的字段（默认情况下为所有字段），以及使用参数 replace 来覆盖目标表而不是追加到它。有关更多信息，请参阅上面的链接。

传输数据¶

以下算子将数据从 BigQuery 表复制到 MySQL。

tests/system/google/cloud/bigquery/example_bigquery_to_mysql.py[源代码]

bigquery_to_mysql = BigQueryToMySqlOperator(
    task_id="bigquery_to_mysql",
    dataset_table=f"{DATASET_NAME}.{TABLE}",
    target_table_name=destination_table,
    replace=False,
)

参考¶

有关更多信息，请查看