airflow.providers.google.cloud.transfers.sftp_to_gcs¶

此模块包含 SFTP 到 Google Cloud Storage 的 Operator (算子)。

属性¶

WILDCARD

类¶

SFTPToGCSOperator

将文件从 SFTP 服务器传输到 Google Cloud Storage。

模块内容¶

airflow.providers.google.cloud.transfers.sftp_to_gcs.WILDCARD = '*'[source]¶

class airflow.providers.google.cloud.transfers.sftp_to_gcs.SFTPToGCSOperator(*, source_path, destination_bucket, destination_path=None, gcp_conn_id='google_cloud_default', sftp_conn_id='ssh_default', mime_type='application/octet-stream', gzip=False, move_object=False, impersonation_chain=None, sftp_prefetch=True, use_stream=False, **kwargs)[source]¶

基类: airflow.models.BaseOperator

将文件从 SFTP 服务器传输到 Google Cloud Storage。

另请参阅

有关如何使用此 Operator (算子) 的更多信息，请参阅指南: Operator

参数:

source_path (str) – SFTP 远程路径。这是从 SFTP 服务器下载单个文件或多个文件时指定的路径。您只能在路径中使用一个通配符。通配符可以出现在路径内部或路径末尾。
destination_bucket (str) – 要上传到的存储桶。
destination_path (str | None) – 目标 Google Cloud Storage 存储桶中对象的名称。如果未提供 destination_path，文件将放置在存储桶的主路径中。如果在 destination_path 参数中提供了通配符，这将是添加到最终目标对象路径前面的前缀。
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。
mime_type (str) – MIME 类型字符串
gzip (bool) – 允许将文件压缩并以 gzip 格式上传
move_object (bool) – 当 move_object 为 True 时，对象会被移动而不是复制到新位置。这相当于 mv 命令，而不是 cp 命令。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐号，用于使用短期凭据模拟身份，或用于获取列表中最后一个帐号的 access_token 的帐号链，该帐号将在请求中被模拟。如果设置为字符串，则该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，则列表中的身份必须将其 Service Account Token Creator IAM 角色授予直接前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。
sftp_prefetch (bool) – 是否启用 SFTP 预取，默认为 True。
use_stream (bool) – 确定从 SFTP 到 GCS 的传输方法。当 False（默认）时，文件会先下载到本地再上传（可能需要大量磁盘空间）。当 True 时，文件会直接进行流式传输，不使用本地磁盘。默认为 False。

template_fields: collections.abc.Sequence[str] = ('source_path', 'destination_path', 'destination_bucket', 'impersonation_chain')[source]¶

source_path[source]¶

destination_path = None[source]¶

destination_bucket[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

mime_type = 'application/octet-stream'[source]¶

gzip = False[source]¶

sftp_conn_id = 'ssh_default'[source]¶

move_object = False[source]¶

impersonation_chain = None[source]¶

sftp_prefetch : bool = True[source]¶

use_stream : bool = False[source]¶

属性 sftp_hook[source]¶

execute(context)[source]¶

创建 operator (算子) 时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文信息，请参阅 get_template_context。

get_openlineage_facets_on_start()[source]¶