airflow.providers.amazon.aws.transfers.gcs_to_s3¶
此模块包含 Google Cloud Storage 到 S3 的操作符。
模块内容¶
类¶
同步 Google Cloud Storage 存储桶与 S3 存储桶。 |
- class airflow.providers.amazon.aws.transfers.gcs_to_s3.GCSToS3Operator(*, gcs_bucket, prefix=None, gcp_conn_id='google_cloud_default', dest_aws_conn_id='aws_default', dest_s3_key, dest_verify=None, replace=False, google_impersonation_chain=None, dest_s3_extra_args=None, s3_acl_policy=None, keep_directory_structure=True, match_glob=None, gcp_user_project=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator同步 Google Cloud Storage 存储桶与 S3 存储桶。
另请参阅
有关如何使用此操作符的更多信息，请查看指南：Google Cloud Storage 到 Amazon S3
- 参数
gcs_bucket (str) – 要查找对象的 Google Cloud Storage 存储桶。(模板化)
prefix (str | None) – 前缀字符串，用于筛选名称以此前缀开头的对象。(模板化)
gcp_conn_id (str) – (可选) 用于连接到 Google Cloud 的连接 ID。
dest_aws_conn_id (str | None) – 目标 S3 连接
dest_s3_key (str) – 用于存储文件的基本 S3 密钥。(模板化)
dest_verify (str | bool | None) –
是否验证 S3 连接的 SSL 证书。默认情况下，会验证 SSL 证书。您可以提供以下值
False：不验证 SSL 证书。仍将使用 SSL(除非 use_ssl 为 False)，但不会验证 SSL 证书。
path/to/cert/bundle.pem：要使用的 CA 证书捆绑文件的文件名。如果您想使用与 botocore 使用的 CA 证书捆绑不同的证书捆绑，则可以指定此参数。
replace (bool) – 是否验证目标存储桶中是否存在文件。默认情况下设置为 False。如果设置为 True，将上传所有文件，替换目标存储桶中的现有文件。如果设置为 False，则只会上传源存储桶中存在但目标存储桶中不存在的文件。
google_impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的 Google 服务帐户，用于使用短期凭据模拟身份，或用于获取列表中最后一个帐户的 access_token 的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的身份必须向直接前一个身份授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户将此角色授予原始帐户(模板化)。
s3_acl_policy (str | None) – 可选的字符串，用于指定要在 S3 中上传的对象的预定义 ACL 策略
keep_directory_structure (bool) – (可选) 如果设置为 False，则会在 dest_s3_key 中传递的路径内重新创建存储桶上文件的路径。
match_glob (str | None) – (可选) 根据字符串给定的 glob 模式筛选对象(例如，
'**/*/.json')gcp_user_project (str | None) – (可选) 用于为此请求计费的 Google Cloud 项目的标识符。对于请求者付款存储桶是必需的。
- template_fields: collections.abc.Sequence[str] = ('gcs_bucket', 'prefix', 'dest_s3_key', 'google_impersonation_chain', 'gcp_user_project')[源代码]¶