Amazon S3 Glacier¶
Amazon Glacier 是一种安全、持久且成本极低的 Amazon S3 云存储类别,适用于数据存档和长期备份。
先决条件任务¶
要使用这些操作符,您必须执行一些操作:
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息请参阅 安装 Airflow®
设置连接.
通用参数¶
- aws_conn_id
引用 Amazon Web Services 连接 ID。如果此参数设置为
None
,则使用默认的 boto3 行为,无需查找连接。否则,使用存储在连接中的凭据。默认值:aws_default
- region_name
AWS 区域名称。如果此参数设置为
None
或省略,则使用 AWS 连接额外参数 中的 region_name。否则,使用指定的值而非连接值。默认值:None
- verify
是否验证 SSL 证书。
False
- 不验证 SSL 证书。path/to/cert/bundle.pem - 要使用的 CA 证书捆绑文件的文件名。如果您想使用与 botocore 使用的不同 CA 证书捆绑文件,可以指定此参数。
如果此参数设置为
None
或省略,则使用 AWS 连接额外参数 中的 verify。否则,使用指定的值而非连接值。默认值:None
- botocore_config
提供的字典用于构建 botocore.config.Config。此配置可用于配置 避免限流异常、超时等。
示例,有关参数的更多详细信息,请参阅 botocore.config.Config¶{ "signature_version": "unsigned", "s3": { "us_east_1_regional_endpoint": True, }, "retries": { "mode": "standard", "max_attempts": 10, }, "connect_timeout": 300, "read_timeout": 300, "tcp_keepalive": True, }
如果此参数设置为
None
或省略,则使用 AWS 连接额外参数 中的 config_kwargs。否则,使用指定的值而非连接值。默认值:None
注意
指定空字典
{}
将覆盖 botocore.config.Config 的连接配置。
操作符¶
创建 Amazon Glacier 作业¶
要启动 Amazon Glacier 清单检索作业,请使用 GlacierCreateJobOperator
此操作符返回与启动的作业相关的信息字典,例如 jobId,后续任务需要此信息。
tests/system/amazon/aws/example_glacier_to_gcs.py
create_glacier_job = GlacierCreateJobOperator(task_id="create_glacier_job", vault_name=vault_name)
JOB_ID = '{{ task_instance.xcom_pull("create_glacier_job")["jobId"] }}'
上传存档到 Amazon Glacier¶
要将存档添加到 Amazon S3 Glacier 保险库,请使用 GlacierUploadArchiveOperator
tests/system/amazon/aws/example_glacier_to_gcs.py
upload_archive_to_glacier = GlacierUploadArchiveOperator(
task_id="upload_data_to_glacier", vault_name=vault_name, body=b"Test Data"
)
传感器¶
等待 Amazon Glacier 作业状态¶
要等待 Amazon Glacier 作业的状态达到终止状态,请使用 GlacierJobOperationSensor
tests/system/amazon/aws/example_glacier_to_gcs.py
wait_for_operation_complete = GlacierJobOperationSensor(
vault_name=vault_name,
job_id=JOB_ID,
task_id="wait_for_operation_complete",
)