airflow.providers.microsoft.azure.transfers.sftp_to_wasb

此模块包含 SFTP 到 Azure Blob 存储的操作符。

模块内容

类

SFTPToWasbOperator

将文件从 SFTP 服务器传输到 Azure Blob 存储。

属性

WILDCARD

SftpFile

airflow.providers.microsoft.azure.transfers.sftp_to_wasb.WILDCARD = '*'[源代码]
airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SftpFile[源代码]
class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SFTPToWasbOperator(*, sftp_source_path, container_name, blob_prefix='', sftp_conn_id='sftp_default', wasb_conn_id='wasb_default', load_options=None, move_object=False, wasb_overwrite_object=False, create_container=False, **kwargs)[源代码]

基类：airflow.models.BaseOperator

将文件从 SFTP 服务器传输到 Azure Blob 存储。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：将数据从 SFTP 源路径传输到 Blob 存储

参数

  • sftp_source_path (str) – SFTP 远程路径。这是从 SFTP 服务器下载单个文件或多个文件的指定文件路径。您只能在路径中使用一个通配符。通配符可以出现在路径内部或路径末尾。

  • container_name (str) – 容器的名称。

  • blob_prefix (str) – 用于命名 blob 的前缀。

  • sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。

  • wasb_conn_id (str) – 对 wasb 连接的引用。

  • load_options (dict | None) – WasbHook.load_file() 接受的可选关键字参数。

  • move_object (bool) – 当 move object 为 True 时，该对象将被移动而不是复制到新位置。这等效于 mv 命令，而不是 cp 命令。

  • wasb_overwrite_object (bool) – 要上传的 blob 是否应覆盖当前数据。当 wasb_overwrite_object 为 True 时，它将覆盖现有数据。如果设置为 False，则在 blob 对象已存在的情况下，操作可能会因 ResourceExistsError 而失败。

  • create_container (bool) – 尝试在上传 blob 之前创建目标容器。如果目标容器可能尚不存在，这将非常有用。默认为 False。

property source_path_contains_wildcard: bool[源代码]

检查 SFTP 源路径是否包含通配符。

template_fields: collections.abc.Sequence[str] = ('sftp_source_path', 'container_name', 'blob_prefix')[源代码]
dry_run()[源代码]

执行操作符的空运行 - 仅渲染模板字段。

execute(context)[源代码]

将文件从 SFTP 上传到 Azure Blob 存储。

get_sftp_files_map()[源代码]

从源路径获取 SFTP 文件，它可以使用 WILDCARD 来实现此目的。

get_tree_behavior()[源代码]

从源路径提取与远程文件夹交互的树行为。

check_wildcards_limit()[源代码]

检查 SFTP 源路径中是否使用了多个通配符。

sftp_hook()[源代码]

要重用的 sftp 钩子的属性。

get_full_path_blob(file)[源代码]

基于之前的名称和一个 blob_prefix 变量获取 blob 名称。

copy_files_to_wasb(sftp_files)[源代码]

将 sftp_files 中的文件列表上传到 Azure Blob 存储，并使用新的 Blob 名称。

delete_files(uploaded_files)[源代码]

删除已移动到 Azure Blob 存储的 SFTP 中的文件。

此条目是否有帮助？