HTTP 到 Amazon S3

使用 HttpToS3Operator 将 HTTP 端点的内容传输到 Amazon 简单存储服务 (S3) 文件。

前提任务

要使用这些操作符,您必须完成以下几项任务

操作符

HTTP 到 Amazon S3 传输操作符

此操作符将数据从 HTTP 端点复制到 Amazon S3 文件。

要了解有关此操作符的更多信息,请访问: HttpToS3Operator

示例用法

tests/system/amazon/aws/example_http_to_s3.py

http_to_s3_task = HttpToS3Operator(
    task_id="http_to_s3_task",
    http_conn_id=conn_id_name,
    endpoint="/test_file",
    s3_bucket=s3_bucket,
    s3_key=s3_key,
    replace=True,
)

参考

本条目是否有帮助?