airflow.providers.amazon.aws.transfers.s3_to_sftp

S3ToSFTPOperator

此运算符能够将文件从 S3 传输到 SFTP 服务器。

模块内容

class airflow.providers.amazon.aws.transfers.s3_to_sftp.S3ToSFTPOperator(*, s3_bucket, s3_key, sftp_path, sftp_conn_id='ssh_default', aws_conn_id='aws_default', **kwargs)[source]

继承自: airflow.models.BaseOperator

此运算符能够将文件从 S3 传输到 SFTP 服务器。

另请参阅

有关如何使用此运算符的更多信息,请查阅指南: Amazon S3 To SFTP transfer operator

参数:
  • sftp_conn_id (str) – SFTP 连接 ID。用于建立与 SFTP 服务器连接的名称或标识符。

  • sftp_path (str) – SFTP 远程路径。这是将文件上传到 SFTP 服务器的指定文件路径。

  • aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此参数为 None 或为空,则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空,则将使用默认的 boto3 配置(并且必须在每个工作节点上维护)。

  • s3_bucket (str) – 目标 S3 存储桶。这是从中下载文件的 S3 存储桶。

  • s3_key (str) – 目标 S3 键。这是从 S3 下载文件的指定文件路径。

template_fields: collections.abc.Sequence[str] = ('s3_key', 'sftp_path', 's3_bucket')[source]
sftp_conn_id = 'ssh_default'[source]
sftp_path[source]
s3_bucket[source]
s3_key[source]
aws_conn_id = 'aws_default'[source]
static get_s3_key(s3_key)[source]

解析正确的 S3 键格式,无论 S3 URL 是如何传递的。

execute(context)[source]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文信息,请参阅 get_template_context。

此条目有帮助吗?