airflow.providers.microsoft.azure.transfers.sftp_to_wasb¶

此模块包含 SFTP 到 Azure Blob 存储的操作符。

属性¶

WILDCARD

类¶

`SftpFile`
`SFTPToWasbOperator`	将文件从 SFTP 服务器传输到 Azure Blob 存储。

模块内容¶

airflow.providers.microsoft.azure.transfers.sftp_to_wasb.WILDCARD = '*'[源代码]¶

class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SftpFile[源代码]¶

基类： tuple

sftp_file_path[源代码]¶

blob_name[源代码]¶

class airflow.providers.microsoft.azure.transfers.sftp_to_wasb.SFTPToWasbOperator(*, sftp_source_path, container_name, blob_prefix='', sftp_conn_id='sftp_default', wasb_conn_id='wasb_default', load_options=None, move_object=False, wasb_overwrite_object=False, create_container=False, **kwargs)[源代码]¶

基类： airflow.models.BaseOperator

将文件从 SFTP 服务器传输到 Azure Blob 存储。

另请参见

有关如何使用此操作符的更多信息，请参阅指南：将数据从 SFTP 源路径传输到 Blob 存储

参数：

sftp_source_path (str) – SFTP 远程路径。这是从 SFTP 服务器下载单个文件或多个文件的指定文件路径。您可以在路径中使用且只能使用一个通配符。通配符可以出现在路径内部或路径末尾。
container_name (str) – 容器的名称。
blob_prefix (str) – 用于命名 Blob 的前缀。
sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。
wasb_conn_id (str) – 对 wasb 连接的引用。
load_options (dict | None) – WasbHook.load_file() 接受的可选关键字参数。
move_object (bool) – 当 move object 为 True 时，对象将被移动而不是复制到新位置。这等同于 mv 命令而非 cp 命令。
wasb_overwrite_object (bool) – 要上传的 Blob 是否应覆盖当前数据。当 wasb_overwrite_object 为 True 时，它将覆盖现有数据。如果设置为 False，则在 Blob 对象已存在的情况下，操作可能会因 ResourceExistsError 而失败。
create_container (bool) – 在上传 Blob 之前尝试创建目标容器。如果目标容器可能尚不存在，这将非常有用。默认为 False。

template_fields: collections.abc.Sequence[str] = ('sftp_source_path', 'container_name', 'blob_prefix')[源代码]¶

sftp_source_path[源代码]¶

blob_prefix = ''[源代码]¶

sftp_conn_id = 'sftp_default'[源代码]¶

wasb_conn_id = 'wasb_default'[源代码]¶

container_name[源代码]¶

load_options[源代码]¶

move_object = False[源代码]¶

create_container = False[源代码]¶

dry_run()[源代码]¶

对此操作符执行模拟运行 - 仅渲染模板字段。

execute(context)[源代码]¶

将文件从 SFTP 上传到 Azure Blob 存储。

get_sftp_files_map()[源代码]¶

从源路径获取 SFTP 文件，为此可以使用通配符。

get_tree_behavior()[源代码]¶

从源路径中提取与远程文件夹交互的树行为。

check_wildcards_limit()[源代码]¶

检查 SFTP 源路径中是否使用了多个通配符。

property source_path_contains_wildcard: bool[源代码]¶

检查 SFTP 源路径是否包含通配符。

property sftp_hook: airflow.providers.sftp.hooks.sftp.SFTPHook[源代码]¶

要重用的 sftp Hook 属性。

get_full_path_blob(file)[源代码]¶

根据上一个名称和 blob_prefix 变量获取 Blob 名称。

copy_files_to_wasb(sftp_files)[源代码]¶

将文件列表从 sftp_files 上传到 Azure Blob 存储并使用新的 Blob 名称。

delete_files(uploaded_files)[源代码]¶

删除已移动到 Azure Blob 存储的 SFTP 文件。