Azure Blob 存储到 Google Cloud Storage (GCS) 传输操作符¶

Google Cloud Storage (GCS) 用于存储来自各种应用程序的大量数据。 Azure Blob 存储也是如此。此页面展示了如何将数据从 Azure Blob 存储传输到 GCS。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 Cloud Console 选择或创建 Cloud Platform 项目。

按照 Google Cloud 文档中的说明，为您的项目启用结算。

按照 Cloud Console 文档中的说明，启用 API。
通过 pip 安装 API 库。
pip install 'apache-airflow[google]'
有关详细信息，请参阅安装。
设置 Google Cloud 连接.

将数据从 Azure Blob 存储传输到 Google Cloud Storage¶

操作符将数据从 Azure Blob 存储传输到 Google Cloud Storage 中指定的存储桶

使用 AzureBlobStorageToGCSOperator 将数据从 Azure Blob 存储传输到 Google Cloud Storage。

使用示例

tests/system/google/cloud/azure/example_azure_blob_to_gcs.py[源代码]

    transfer_files_to_gcs = AzureBlobStorageToGCSOperator(
        task_id="transfer_files_to_gcs",
        # azure args
        container_name=AZURE_CONTAINER_NAME,
        blob_name=BLOB_NAME,
        # GCP args
        bucket_name=GCP_BUCKET_NAME,
        object_name=GCP_OBJECT_NAME,
        filename=GCP_BUCKET_FILE_PATH,
        gzip=False,
        impersonation_chain=None,
    )

参考¶

有关更多信息，请查看