亚马逊 S3 到 Azure Blob 存储传输操作符¶

Blob 服务在云中将文本和二进制数据存储为对象。Blob 服务提供以下三种资源：存储账户、容器和 Blob。在您的存储账户中，容器提供了一种组织 Blob 集的方式。有关该服务的更多信息，请访问 Azure Blob Storage API 文档。本页展示了如何将数据从本地文件系统上传到 Azure Blob 存储。

使用 S3ToWasbOperator 传输将数据从 Amazon Simple Storage Service (S3) 复制到 Azure Blob 存储。

先决条件任务¶

要使用这些操作符，您必须完成几项工作

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细信息请参阅安装 Airflow®
设置连接.

操作符¶

将数据从 Amazon S3 传输到 Blob 存储¶

要将数据从 Amazon AWS S3 桶复制到 Azure Blob 存储容器，可以使用以下操作符：S3ToWasbOperator

使用示例

tests/system/microsoft/azure/example_s3_to_wasb.py

s3_to_wasb = S3ToAzureBlobStorageOperator(
    task_id="s3_to_wasb",
    s3_bucket=s3_bucket_name,
    container_name=wasb_container_name,
    s3_key=S3_KEY,
    blob_prefix=BLOB_PREFIX,  # Using a prefix for this
    trigger_rule=TriggerRule.ALL_DONE,
    replace=True,
)

参考¶

如需更多信息，请参考以下链接