Google Cloud BigQuery 到 BigQuery 传输 Operator¶

Google Cloud BigQuery 是 Google Cloud 提供的无服务器数据仓库服务。此 Operator 可用于将数据从一个 BigQuery 表复制到另一个 BigQuery 表。

先决任务¶

要使用这些 Operators，您必须执行以下几项操作：

使用 Cloud Console 选择或创建 Cloud Platform 项目。

为您的项目启用计费，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
详细信息请参阅安装。
设置 Google Cloud 连接.

Operator¶

使用 BigQueryToBigQueryOperator Operator 可以将数据从一个 BigQuery 表复制到另一个表。

将 Jinja 模板与 source_project_dataset_tables, destination_project_dataset_table, labels, impersonation_chain 一起使用，以动态定义值。

您可以包含多个源表，并定义 write_disposition 和 create_disposition。更多信息请参阅上面的链接。

复制 BigQuery 表¶

以下 Operator 可将数据从一个或多个 BigQuery 表复制到另一个表。

tests/system/google/cloud/bigquery/example_bigquery_to_bigquery.py

copy_selected_data = BigQueryToBigQueryOperator(
    task_id="copy_selected_data",
    source_project_dataset_tables=f"{DATASET_NAME}.{ORIGIN}",
    destination_project_dataset_table=f"{DATASET_NAME}.{TARGET}",
)

参考资料¶

更多信息请参阅：