SFTP 到 Azure Blob Storage 传输运算符¶
Blob 服务将文本和二进制数据作为对象存储在云端。Blob 服务提供以下三种资源:存储账户、容器和 blob。在您的存储账户中,容器提供了一种组织 blob 集的方式。有关该服务的更多信息,请访问 Azure Blob Storage API 文档。
开始之前¶
在 Airflow 中使用 Blob Storage 之前,您需要使用 Token、登录名和密码来验证您的账户。请按照 Azure 说明进行操作。
请参阅以下示例。为这些字段设置值
SFTP Conn Id: sftp_default
WASB Conn Id: wasb_default
将数据从 SFTP 源路径传输到 Blob Storage¶
该运算符将数据从 SFTP 源路径传输到 Azure Blob Storage 中指定的容器
要获取 Azure Blob Storage 中作业的信息,请使用:SFTPToWasbOperator
示例用法
tests/system/microsoft/azure/example_sftp_to_wasb.py
transfer_files_to_azure = SFTPToWasbOperator(
task_id="transfer_files_from_sftp_to_wasb",
# SFTP args
sftp_source_path=SFTP_SRC_PATH,
# AZURE args
container_name=AZURE_CONTAINER_NAME,
blob_prefix=BLOB_PREFIX,
)