MongoDB 到 Amazon S3¶

使用 MongoToS3Operator 传输，将数据从 MongoDB collection 复制到 Amazon Simple Storage Service (S3) 文件。

先决任务¶

要使用这些 Operator，您必须做一些事情

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅安装 Airflow®
设置连接.

Operator¶

MongoDB 到 Amazon S3 传输 Operator¶

此 Operator 将一组数据从 MongoDB collection 复制到 Amazon S3 文件。为了选择要复制的数据，您需要使用 mongo_query 参数。

要获取有关此 Operator 的更多信息，请访问：MongoToS3Operator

示例用法

tests/system/amazon/aws/example_mongo_to_s3.py

mongo_to_s3_job = MongoToS3Operator(
    task_id="mongo_to_s3_job",
    mongo_collection=mongo_collection,
    # Mongo query by matching values
    # Here returns all documents which have "OK" as value for the key "status"
    mongo_query={"status": "OK"},
    s3_bucket=s3_bucket,
    s3_key=s3_key,
    mongo_db=mongo_database,
    replace=True,
)

您可以在此处找到有关 Airflow 用于与 MongoDB 通信的 PyMongo 的更多信息。

MongoDB 到 Amazon S3¶

先决任务¶

Operator¶

MongoDB 到 Amazon S3 传输 Operator¶

参考¶