Google Cloud Storage 到 Amazon S3 传输操作符¶

使用 GCSToS3Operator 传输将数据从 Google Cloud Storage 复制到 Amazon 简单存储服务 (S3)。

前提任务¶

要使用这些操作符，您必须执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

操作符¶

Google Cloud Storage 到 Amazon S3¶

要将数据从 Google Cloud Storage 存储桶复制到 Amazon S3 存储桶，您可以使用 GCSToS3Operator

使用示例

tests/system/providers/amazon/aws/example_gcs_to_s3.py[源代码]

gcs_to_s3 = GCSToS3Operator(
    task_id="gcs_to_s3",
    gcs_bucket=gcs_bucket,
    dest_s3_key=f"s3://{s3_bucket}/{s3_key}",
    replace=True,
    gcp_user_project=gcp_user_project,
)

参考¶

此条目有帮助吗？