本地文件系统到 Amazon S3¶
使用 LocalFilesystemToS3Operator
传输操作符将数据从 Airflow 本地文件系统复制到 Amazon Simple Storage Service (S3) 文件。
前置任务¶
要使用这些操作符,您需要做一些事情
使用 AWS Console 或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息请参阅 Airflow® 安装
设置连接.
操作符¶
本地到 Amazon S3 传输操作符¶
此操作符将数据从本地文件系统复制到 Amazon S3 文件。
要获取此操作符的更多信息,请访问:LocalFilesystemToS3Operator
示例用法
tests/system/amazon/aws/example_local_to_s3.py
create_local_to_s3_job = LocalFilesystemToS3Operator(
task_id="create_local_to_s3_job",
filename=TEMP_FILE_PATH,
dest_key=s3_key,
dest_bucket=s3_bucket_name,
replace=True,
)