airflow.providers.amazon.aws.transfers.sftp_to_s3¶

类¶

SFTPToS3Operator

将文件从 SFTP 服务器传输到 Amazon S3。

模块内容¶

类 airflow.providers.amazon.aws.transfers.sftp_to_s3.SFTPToS3Operator(*, s3_bucket, s3_key, sftp_path, sftp_conn_id='ssh_default', s3_conn_id='aws_default', use_temp_file=True, fail_on_file_not_exist=True, **kwargs)[source]¶

基类: airflow.models.BaseOperator

将文件从 SFTP 服务器传输到 Amazon S3。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南: SFTP 到 Amazon S3 传输操作符

参数:

sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。
sftp_path (str) – SFTP 远程路径。这是从 SFTP 服务器下载文件时指定的路径。
s3_conn_id (str) – S3 连接 ID。用于建立与 S3 连接的名称或标识符。
s3_bucket (str) – 目标 S3 存储桶。这是文件上传到的 S3 存储桶。
s3_key (str) – 目标 S3 键。这是文件上传到 S3 时指定的路径。
use_temp_file (bool) – 如果为 True，则先将文件复制到本地；如果为 False，则直接从 SFTP 流式传输文件到 S3。
fail_on_file_not_exist (bool) – 如果为 True，则当文件不存在时操作符会失败；如果为 False，则操作符不会失败并跳过传输。默认为 True。

template_fields: collections.abc.Sequence[str] = ('s3_key', 'sftp_path', 's3_bucket')[source]¶

sftp_conn_id = 'ssh_default'[source]¶

sftp_path[source]¶

s3_bucket[source]¶

s3_key[source]¶

s3_conn_id = 'aws_default'[source]¶

use_temp_file = True[source]¶

fail_on_file_not_exist = True[source]¶

静态 get_s3_key(s3_key)[source]¶

无论 S3 URL 以何种方式传入，都解析出 S3 键的正确格式。

execute(context)[source]¶

创建操作符时派生。

Context 是用于渲染 Jinja 模板时使用的相同字典。

有关更多 Context 信息，请参阅 get_template_context。