airflow.providers.amazon.aws.transfers.glacier_to_gcs¶

类¶

GlacierToGCSOperator

将数据从 Amazon Glacier 传输到 Google Cloud Storage。

模块内容¶

class airflow.providers.amazon.aws.transfers.glacier_to_gcs.GlacierToGCSOperator(*, aws_conn_id='aws_default', gcp_conn_id='google_cloud_default', vault_name, bucket_name, object_name, gzip, chunk_size=1024, google_impersonation_chain=None, **kwargs)[source]¶

基类: airflow.models.BaseOperator

将数据从 Amazon Glacier 传输到 Google Cloud Storage。

注意

请注意，GlacierToGCSOperator 可能依赖于内存使用。传输大文件可能效果不佳。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南： Amazon S3 Glacier 到 GCS 传输操作符

参数:

aws_conn_id (str | None) – AWS 连接详情的引用
gcp_conn_id (str) – GCP 连接详情的引用
vault_name (str) – 执行作业的 Glacier Vault
bucket_name (str) – 将数据传输到的 Google Cloud Storage 存储桶
object_name (str) – 要在 Google Cloud Storage 存储桶中检查的对象名称。
gzip (bool) – 上传时压缩本地文件或文件数据的选项
chunk_size (int) – 将从 Glacier Vault 下载的数据块大小（字节）
google_impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的 Google 服务账号，用于使用短期凭证进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将在请求中被模拟。如果设置为字符串，则该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，则列表中的身份必须授予 Service Account Token Creator IAM 角色给直接前一个身份，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('vault_name', 'bucket_name', 'object_name')[source]¶

aws_conn_id = 'aws_default'[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

vault_name[source]¶

bucket_name[source]¶

object_name[source]¶

gzip[source]¶

chunk_size = 1024[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生此方法。

Context 与渲染 Jinja 模板时使用的字典相同。

有关更多上下文信息，请参阅 get_template_context。