airflow.providers.amazon.aws.transfers.gcs_to_s3¶
此模块包含 Google Cloud Storage 到 S3 的操作符。
类¶
将 Google Cloud Storage 存储桶与 S3 存储桶同步。 |
模块内容¶
- class airflow.providers.amazon.aws.transfers.gcs_to_s3.GCSToS3Operator(*, gcs_bucket, prefix=None, gcp_conn_id='google_cloud_default', dest_aws_conn_id='aws_default', dest_s3_key, dest_verify=None, replace=False, google_impersonation_chain=None, dest_s3_extra_args=None, s3_acl_policy=None, keep_directory_structure=True, match_glob=None, gcp_user_project=None, **kwargs)[source]¶
基类:
airflow.models.BaseOperator将 Google Cloud Storage 存储桶与 S3 存储桶同步。
另请参阅
有关如何使用此操作符的更多信息，请参阅指南：Google Cloud Storage 到 Amazon S3
- 参数:
gcs_bucket (str) – 要查找对象的 Google Cloud Storage 存储桶。(templated)
prefix (str | None) – 用于过滤对象名称以此前缀开头的字符串。(templated)
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
dest_aws_conn_id (str | None) – 目标 S3 连接
dest_s3_key (str) – 用于存储文件的基础 S3 键。(templated)
dest_verify (str | bool | None) –
是否验证 S3 连接的 SSL 证书。默认情况下，SSL 证书会经过验证。您可以提供以下值：
False: 不验证 SSL 证书。SSL 仍将使用(除非 use_ssl 为 False)，但 SSL 证书不会被验证。
path/to/cert/bundle.pem: 要使用的 CA 证书包的文件名。如果您想使用与 botocore 不同的 CA 证书包，可以指定此参数。
replace (bool) – 是否验证目标存储桶中文件的存在。默认为 False。如果设置为 True，将上传所有文件，替换目标存储桶中现有的文件。如果设置为 False，将只上传源中存在但目标存储桶中不存在的文件。
google_impersonation_chain (str | collections.abc.Sequence[str] | None) – （可选）要使用短期凭据模拟的 Google 服务账号，或获取列表中最后一个账号的 access_token 所需的账号链式列表，该账号将在请求中被模拟。如果设置为字符串，则该账号必须向原始账号授予 Service Account Token Creator IAM 角色。如果设置为序列，则列表中身份必须将 Service Account Token Creator IAM 角色授予直接前一个身份，其中列表中的第一个账号将此角色授予原始账号。(templated)
s3_acl_policy (str | None) – （可选）用于指定要上传到 S3 的对象的预设 ACL 策略的字符串
keep_directory_structure (bool) – (可选) 当设置为 False 时，存储桶上文件的路径将在 dest_s3_key 中传递的路径内重新创建。
match_glob (str | None) – (可选) 根据字符串给定的 glob 模式过滤对象（例如，
'**/*/.json'）gcp_user_project (str | None) – (可选) 要为此请求计费的 Google Cloud 项目标识符。Requester Pays 存储桶必需。
- template_fields: collections.abc.Sequence[str] = ('gcs_bucket', 'prefix', 'dest_s3_key', 'google_impersonation_chain', 'gcp_user_project')[source]¶