AirbyteTriggerSyncOperator¶
使用 AirbyteTriggerSyncOperator
触发 Airbyte 中现有的 ConnectionId 同步作业。
警告
此操作符会触发 Airbyte 中的同步作业。如果再次触发,此操作符不保证幂等性。您必须了解要更新/同步的源(数据库、API 等)以及 Airbyte 中用于执行操作的方法。
使用操作符¶
AirbyteTriggerSyncOperator 需要 connection_id
,这是在 Airbyte 中创建的源和目标同步作业之间的 uuid 标识符。使用 airbyte_conn_id
参数指定用于连接到您的帐户的 Airbyte 连接。
Airbyte 目前支持两种不同的 API。第一个是 配置 API,它专门用于开源 Airbyte 实例。第二个是 云 API,它用于 Airbyte 云服务。如果您使用的是 Airbyte 的云服务,则需要在操作符的参数中指定 api_type="cloud"
。
您可以使用操作符以两种方式在 Airflow 中触发同步作业。第一种是同步过程。此操作符将启动 Airbyte 作业,并且操作符管理作业状态。另一种方法是使用标志 async = True
,以便操作符仅触发作业并返回 job_id
,传递给 AirbyteSensor。
使用同步方式的示例
sync_source_destination = AirbyteTriggerSyncOperator(
task_id="airbyte_sync_source_dest_example",
connection_id=CONN_ID,
)
使用异步方式的示例
async_source_destination = AirbyteTriggerSyncOperator(
task_id="airbyte_async_source_dest_example",
connection_id=CONN_ID,
asynchronous=True,
)
airbyte_sensor = AirbyteJobSensor(
task_id="airbyte_sensor_source_dest_example",
airbyte_job_id=async_source_destination.output,
)