HTTP 到 Amazon S3¶
使用 HttpToS3Operator
将 HTTP 端点的内容传输到 Amazon 简单存储服务 (S3) 文件。
前提任务¶
要使用这些操作符,您必须完成以下几项任务
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息请参阅 Airflow® 安装
设置连接.
操作符¶
HTTP 到 Amazon S3 传输操作符¶
此操作符将数据从 HTTP 端点复制到 Amazon S3 文件。
要了解有关此操作符的更多信息,请访问: HttpToS3Operator
示例用法
tests/system/amazon/aws/example_http_to_s3.py
http_to_s3_task = HttpToS3Operator(
task_id="http_to_s3_task",
http_conn_id=conn_id_name,
endpoint="/test_file",
s3_bucket=s3_bucket,
s3_key=s3_key,
replace=True,
)