airflow.providers.amazon.aws.transfers.glacier_to_gcs

模块内容

GlacierToGCSOperator

将数据从 Amazon Glacier 传输到 Google Cloud Storage。

class airflow.providers.amazon.aws.transfers.glacier_to_gcs.GlacierToGCSOperator(*, aws_conn_id='aws_default', gcp_conn_id='google_cloud_default', vault_name, bucket_name, object_name, gzip, chunk_size=1024, google_impersonation_chain=None, **kwargs)[源代码]

基类:airflow.models.BaseOperator

将数据从 Amazon Glacier 传输到 Google Cloud Storage。

注意

请注意,GlacierToGCSOperator 可能取决于内存使用情况。传输大文件可能无法正常工作。

另请参阅

有关如何使用此操作符的更多信息,请查看指南:Amazon S3 Glacier 到 GCS 传输操作符

参数
  • aws_conn_id (str | None) – 对 AWS 连接详细信息的引用

  • gcp_conn_id (str) – 对 GCP 连接详细信息的引用

  • vault_name (str) – 执行作业的 Glacier 仓库

  • bucket_name (str) – 将传输数据的 Google Cloud Storage 存储桶

  • object_name (str) – 要在 Google Cloud Storage 存储桶中检查的对象的名称。

  • gzip (bool) – 用于压缩本地文件或上传文件数据的选项

  • chunk_size (int) – 将从 Glacier 仓库下载的块的大小(以字节为单位)

  • google_impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的 Google 服务帐户,用于使用短期凭据模拟,或用于获取列表中最后一个帐户的 access_token 的链接帐户列表,该帐户将在请求中模拟。如果设置为字符串,则该帐户必须授予原始帐户服务帐户令牌创建者 IAM 角色。如果设置为序列,则列表中的身份必须将服务帐户令牌创建者 IAM 角色授予直接前面的身份,列表中的第一个帐户将此角色授予原始帐户(已模板化)。

template_fields: collections.abc.Sequence[str] = ('vault_name', 'bucket_name', 'object_name')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有帮助?