Salesforce 到 Amazon S3¶
使用 SalesforceToS3Operator
传输算子执行 Salesforce 查询来获取数据,并上传到 Amazon 简单存储服务 (S3) 文件。
前提任务¶
要使用这些算子,您必须执行以下几项操作
使用 AWS Console 或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息请参阅 Airflow® 安装
设置连接.
算子¶
从 Salesforce 提取数据到 Amazon S3 传输算子¶
以下示例演示了从 Salesforce 实例提取账户数据并上传到 Amazon S3 存储桶的用例。
tests/system/amazon/aws/example_salesforce_to_s3.py
upload_salesforce_data_to_s3 = SalesforceToS3Operator(
task_id="upload_salesforce_to_s3",
salesforce_query="SELECT AccountNumber, Name FROM Account",
s3_bucket_name=s3_bucket,
s3_key=s3_key,
salesforce_conn_id="salesforce",
replace=True,
)