Amazon 消息队列

Amazon SQS 队列提供者

实现者 SqsMessageQueueProvider

The Amazon SQS 队列提供者是一个 BaseMessageQueueProvider,使用 Amazon Simple Queue Service(SQS)作为底层消息队列系统。它允许您在 Airflow 工作流中使用 SQS 队列发送和接收消息,并通过 MessageQueueTrigger 这一通用消息队列接口进行操作。

  • 它使用 sqs 作为标识 SQS 队列的 scheme(方案)。

  • 有关参数定义,请参阅 SqsSensorTrigger

from airflow.providers.common.messaging.triggers.msg_queue import MessageQueueTrigger
from airflow.sdk import Asset, AssetWatcher

trigger = MessageQueueTrigger(
    scheme="sqs",
    # Additional AWS SqsSensorTrigger parameters as needed
    sqs_queue="https://sqs.us-east-1.amazonaws.com/123456789012/my-queue",
    aws_conn_id="aws_default",
)

asset = Asset("sqs_queue_asset", watchers=[AssetWatcher(name="sqs_watcher", trigger=trigger)])

完整示例请参见:tests.system.amazon.aws.example_dag_sqs_message_queue_trigger

此条目是否有帮助?