Azure Blob 存储到 Google Cloud Storage (GCS) 传输Operator¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。Azure Blob 存储也是如此。本页面展示了如何将数据从 Azure Blob 存储传输到 GCS。

先决任务¶

要使用这些 operator，您必须完成以下几项工作：

使用Cloud Console选择或创建一个 Cloud Platform 项目。

为您的项目启用结算功能，详情请参阅Google Cloud 文档。

启用 API，详情请参阅Cloud Console 文档。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关安装的详细信息，请参见安装。
设置 Google Cloud 连接.

将数据从 Azure Blob 存储传输到 Google Cloud Storage¶

Operator 将数据从 Azure Blob 存储传输到 Google Cloud Storage 中指定的存储桶

使用AzureBlobStorageToGCSOperator将数据从 Azure Blob 存储传输到 Google Cloud Storage。

使用示例

tests/system/google/cloud/azure/example_azure_blob_to_gcs.py

    transfer_files_to_gcs = AzureBlobStorageToGCSOperator(
        task_id="transfer_files_to_gcs",
        # azure args
        container_name=AZURE_CONTAINER_NAME,
        blob_name=BLOB_NAME,
        # GCP args
        bucket_name=GCP_BUCKET_NAME,
        object_name=GCP_OBJECT_NAME,
        filename=GCP_BUCKET_FILE_PATH,
        gzip=False,
        impersonation_chain=None,
    )

参考¶

更多信息请参阅