AirbyteTriggerSyncOperator

使用 AirbyteTriggerSyncOperator 触发 Airbyte 中现有的 ConnectionId 同步作业。

警告

此操作符会触发 Airbyte 中的同步作业。如果再次触发,此操作符不保证幂等性。您必须了解要更新/同步的源(数据库、API 等)以及 Airbyte 中用于执行操作的方法。

使用操作符

AirbyteTriggerSyncOperator 需要 connection_id,这是在 Airbyte 中创建的源和目标同步作业之间的 uuid 标识符。使用 airbyte_conn_id 参数指定用于连接到您的帐户的 Airbyte 连接。

Airbyte 目前支持两种不同的 API。第一个是 配置 API,它专门用于开源 Airbyte 实例。第二个是 云 API,它用于 Airbyte 云服务。如果您使用的是 Airbyte 的云服务,则需要在操作符的参数中指定 api_type="cloud"

您可以使用操作符以两种方式在 Airflow 中触发同步作业。第一种是同步过程。此操作符将启动 Airbyte 作业,并且操作符管理作业状态。另一种方法是使用标志 async = True,以便操作符仅触发作业并返回 job_id,传递给 AirbyteSensor。

使用同步方式的示例

tests/system/providers/airbyte/example_airbyte_trigger_job.py[来源]

    sync_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_sync_source_dest_example",
        connection_id=CONN_ID,
    )

使用异步方式的示例

tests/system/providers/airbyte/example_airbyte_trigger_job.py[来源]

    async_source_destination = AirbyteTriggerSyncOperator(
        task_id="airbyte_async_source_dest_example",
        connection_id=CONN_ID,
        asynchronous=True,
    )

    airbyte_sensor = AirbyteJobSensor(
        task_id="airbyte_sensor_source_dest_example",
        airbyte_job_id=async_source_destination.output,
    )

此条目有帮助吗?