airflow.providers.amazon.aws.transfers.local_to_s3¶
模块内容¶
类¶
将文件从本地文件系统上传到 Amazon S3。 |
- class airflow.providers.amazon.aws.transfers.local_to_s3.LocalFilesystemToS3Operator(*, filename, dest_key, dest_bucket=None, aws_conn_id='aws_default', verify=None, replace=False, encrypt=False, gzip=False, acl_policy=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator将文件从本地文件系统上传到 Amazon S3。
另请参阅
有关如何使用此操作符的更多信息，请查看以下指南: 本地到 Amazon S3 传输操作符
- 参数
filename (str) – 本地文件的路径。路径可以是绝对路径(例如 /path/to/file.ext)或相对路径(例如 ../../foo//.csv)。(已模板化)
dest_key (str) –
要复制到的对象的键。(已模板化)
它可以是完整的 s3:// 样式 URL 或根级别的相对路径。
当指定为完整的 s3:// URL 时，请省略 dest_bucket。
dest_bucket (str | None) – 要将对象复制到的 S3 存储桶的名称。(已模板化)
aws_conn_id (str | None) – 要使用的 S3 连接的连接 ID
是否验证 S3 连接的 SSL 证书。默认情况下，会验证 SSL 证书。
你可以提供以下值
- False：不验证 SSL 证书。仍将使用 SSL，
但不会验证 SSL 证书。
- path/to/cert/bundle.pem：要使用的 CA 证书捆绑包的文件名。
如果你想使用与 botocore 使用的 CA 证书捆绑包不同的证书捆绑包，你可以指定此参数。
replace (bool) – 一个标志，用于决定是否覆盖已存在的键。如果 replace 为 False 且键存在，则会引发错误。
encrypt (bool) – 如果为 True，则该文件将在服务器端由 S3 加密，并且在 S3 中静态存储时将以加密形式存储。
gzip (bool) – 如果为 True，则该文件将在本地压缩
acl_policy (str | None) – 指定上传到 S3 存储桶的文件的预设 ACL 策略的字符串。
- template_fields: collections.abc.Sequence[str] = ('filename', 'dest_key', 'dest_bucket')[源代码]¶