airflow.providers.airbyte.operators.airbyte¶

类¶

AirbyteTriggerSyncOperator

向 Airbyte 服务器提交作业，以运行源和目的地之间的数据集成过程。

模块内容¶

class airflow.providers.airbyte.operators.airbyte.AirbyteTriggerSyncOperator(connection_id, airbyte_conn_id='airbyte_default', asynchronous=False, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), api_version='v1', wait_seconds=3, timeout=3600, **kwargs)[source]¶

基类： airflow.models.BaseOperator

向 Airbyte 服务器提交作业，以运行源和目的地之间的数据集成过程。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南： AirbyteTriggerSyncOperator

参数：

airbyte_conn_id (str) – 可选。用于获取 Airbyte 连接信息的 Airflow 连接名称。默认为 “airbyte_default”。
connection_id (str) – 必需。源和目的地之间的 Airbyte ConnectionId UUID。
asynchronous (bool) – 可选。提交作业到 Airbyte API 后获取 job_id 的标志。这对于提交长时间运行的作业并使用 AirbyteJobSensor 异步等待它们完成很有用。默认为 False。
deferrable (bool) – 以可推迟模式运行操作符。
api_version (str) – 可选。Airbyte API 版本。默认为 “v1”。
wait_seconds (float) – 可选。检查之间的秒数。仅当 asynchronous 为 False 时使用。默认为 3 秒。
timeout (float) – 可选。等待请求完成的时间，以秒为单位。仅当 asynchronous 为 False 时使用。默认为 3600 秒（即 1 小时）。

template_fields: collections.abc.Sequence[str] = ('connection_id',)[source]¶

ui_color = '#6C51FD'[source]¶

airbyte_conn_id = 'airbyte_default'[source]¶

connection_id[source]¶

timeout = 3600[source]¶

api_version = 'v1'[source]¶

wait_seconds : float = 3[source]¶

asynchronous : bool = False[source]¶

deferrable : bool = True[source]¶

execute(context)[source]¶

创建 Airbyte 作业并等待完成。

execute_complete(context, event=None)[source]¶

触发器触发时调用此回调；立即返回。

依赖触发器抛出异常，否则假定执行成功。

on_kill()[source]¶: 如果任务被取消，则取消作业。