MongoDB 到 Amazon S3¶

使用 MongoToS3Operator 传输将数据从 MongoDB 集合复制到 Amazon Simple Storage Service (S3) 文件。

先决条件任务¶

要使用这些操作符，您需要执行以下操作

使用 AWS 控制台或 AWS CLI 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息请参阅 Airflow™ 安装
设置连接.

操作符¶

MongoDB 到 Amazon S3 传输操作符¶

此操作符将一组数据从 MongoDB 集合复制到 Amazon S3 文件。为了选择要复制的数据，您需要使用 mongo_query 参数。

要获取有关此操作符的更多信息，请访问： MongoToS3Operator

示例用法

tests/system/providers/amazon/aws/example_mongo_to_s3.py[源代码]

mongo_to_s3_job = MongoToS3Operator(
    task_id="mongo_to_s3_job",
    mongo_collection=mongo_collection,
    # Mongo query by matching values
    # Here returns all documents which have "OK" as value for the key "status"
    mongo_query={"status": "OK"},
    s3_bucket=s3_bucket,
    s3_key=s3_key,
    mongo_db=mongo_database,
    replace=True,
)

您可以在此处找到有关 Airflow 用于与 MongoDB 通信的 PyMongo 的更多信息。

MongoDB 到 Amazon S3¶

先决条件任务¶

操作符¶

MongoDB 到 Amazon S3 传输操作符¶

参考¶