MySQL 到 Google Cloud Storage Operator¶

Google Cloud Storage (GCS) 服务用于存储来自各种应用程序的大量数据。此页面展示了如何将数据从 MySQL 复制到 GCS。

先决条件任务¶

要使用这些 Operator，您必须执行以下几项操作

使用 Cloud Console 选择或创建一个 Cloud Platform 项目。

为您的项目启用结算，如 Google Cloud 文档中所述。

启用 API，如 Cloud Console 文档中所述。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请参阅此处。
设置 Google Cloud 连接.

MySQLToGCSOperator¶

MySQLToGCSOperator 允许您将数据从 MySQL 数据库上传到 GCS。

使用此 Operator 时，您可以选择将上传的数据压缩为 gzip 格式。

以下是使用此 Operator 将数据上传到 GCS 的示例。

tests/system/google/cloud/gcs/example_mysql_to_gcs.py

    mysql_to_gcs = MySQLToGCSOperator(
        task_id="mysql_to_gcs",
        mysql_conn_id=CONNECTION_ID,
        sql=SQL_SELECT,
        bucket=BUCKET_NAME,
        filename=FILE_NAME,
        export_format="csv",
    )

参考¶

更多信息，请参阅：* MySQL 文档 * Google Cloud Storage 文档