Amazon S3 到 Azure Blob 存储传输操作符¶

Blob 服务将文本和二进制数据作为对象存储在云中。Blob 服务提供以下三个资源：存储帐户、容器和 blob。在您的存储帐户中，容器提供了一种组织 blob 集的方法。有关该服务的更多信息，请访问 Azure Blob 存储 API 文档。此页面展示了如何将数据从本地文件系统上传到 Azure Blob 存储。

使用 S3ToWasbOperator 传输操作符将数据从 Amazon Simple Storage Service (S3) 复制到 Azure Blob 存储。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

使用 AZURE PORTAL 或 AZURE CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[azure]'
详细信息请参阅 Airflow® 的安装
设置连接.

操作符¶

将数据从 Amazon S3 传输到 Blob 存储¶

要将数据从 Amazon AWS S3 Bucket 复制到 Azure Blob 存储容器，可以使用以下操作符：S3ToWasbOperator

用法示例

tests/system/microsoft/azure/example_s3_to_wasb.py

s3_to_wasb = S3ToAzureBlobStorageOperator(
    task_id="s3_to_wasb",
    s3_bucket=s3_bucket_name,
    container_name=wasb_container_name,
    s3_key=S3_KEY,
    blob_prefix=BLOB_PREFIX,  # Using a prefix for this
    trigger_rule=TriggerRule.ALL_DONE,
    replace=True,
)

参考¶

有关更多信息，请参阅以下链接