SFTP 到 Azure Blob Storage 传输运算符

Blob 服务将文本和二进制数据作为对象存储在云端。Blob 服务提供以下三种资源:存储账户、容器和 blob。在您的存储账户中,容器提供了一种组织 blob 集的方式。有关该服务的更多信息,请访问 Azure Blob Storage API 文档

开始之前

在 Airflow 中使用 Blob Storage 之前,您需要使用 Token、登录名和密码来验证您的账户。请按照 Azure 说明进行操作。

请参阅以下示例。为这些字段设置值

SFTP Conn Id: sftp_default
WASB Conn Id: wasb_default

将数据从 SFTP 源路径传输到 Blob Storage

该运算符将数据从 SFTP 源路径传输到 Azure Blob Storage 中指定的容器

要获取 Azure Blob Storage 中作业的信息,请使用:SFTPToWasbOperator 示例用法

tests/system/microsoft/azure/example_sftp_to_wasb.py

transfer_files_to_azure = SFTPToWasbOperator(
    task_id="transfer_files_from_sftp_to_wasb",
    # SFTP args
    sftp_source_path=SFTP_SRC_PATH,
    # AZURE args
    container_name=AZURE_CONTAINER_NAME,
    blob_prefix=BLOB_PREFIX,
)

此条目是否有帮助?