airflow.providers.google.cloud.transfers.sftp_to_gcs¶
此模块包含 SFTP 到 Google Cloud Storage 的操作符。
模块内容¶
类¶
将文件从 SFTP 服务器传输到 Google Cloud Storage。 |
属性¶
- class airflow.providers.google.cloud.transfers.sftp_to_gcs.SFTPToGCSOperator(*, source_path, destination_bucket, destination_path=None, gcp_conn_id='google_cloud_default', sftp_conn_id='ssh_default', mime_type='application/octet-stream', gzip=False, move_object=False, impersonation_chain=None, sftp_prefetch=True, **kwargs)[source]¶
基类：
airflow.models.BaseOperator将文件从 SFTP 服务器传输到 Google Cloud Storage。
另请参阅
有关如何使用此操作符的更多信息，请查看指南： 操作符
- 参数
source_path (str) – SFTP 远程路径。这是用于从 SFTP 服务器下载单个文件或多个文件的指定文件路径。您可以在路径中使用一个通配符。通配符可以出现在路径内部或路径末尾。
destination_bucket (str) – 要上传到的存储桶。
destination_path (str | None) – 目标 Google Cloud Storage 存储桶中对象的目的地名称。如果未提供 destination_path，则文件/文件将放置在主存储桶路径中。如果在 destination_path 参数中提供通配符，则这是将添加到最终目标对象路径的前缀。
gcp_conn_id (str) – （可选）用于连接到 Google Cloud 的连接 ID。
sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。
mime_type (str) – mime 类型字符串
gzip (bool) – 允许将文件压缩并作为 gzip 上传
move_object (bool) – 当 move_object 为 True 时，该对象将被移动而不是复制到新位置。这相当于 mv 命令，而不是 cp 命令。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该 access_token 将在请求中被模拟。如果设置为字符串，则该帐户必须授予原始帐户“服务帐户令牌创建者”IAM 角色。如果设置为序列，则列表中的标识必须将“服务帐户令牌创建者”IAM 角色授予直接前一个标识，列表中的第一个帐户将此角色授予原始帐户（已模板化）。
sftp_prefetch (bool) – 是否启用 SFTP 预取，默认为 True。
- template_fields: collections.abc.Sequence[str] = ('source_path', 'destination_path', 'destination_bucket', 'impersonation_chain')[source]¶