airflow.providers.airbyte.operators.airbyte

模块内容

AirbyteTriggerSyncOperator

向 Airbyte 服务器提交一个作业,以运行源和目标之间的集成过程。

class airflow.providers.airbyte.operators.airbyte.AirbyteTriggerSyncOperator(connection_id, airbyte_conn_id='airbyte_default', asynchronous=False, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), api_version='v1', wait_seconds=3, timeout=3600, **kwargs)[源代码]

基类: airflow.models.BaseOperator

向 Airbyte 服务器提交一个作业,以运行源和目标之间的集成过程。

另请参阅

有关如何使用此操作符的更多信息,请查看指南: AirbyteTriggerSyncOperator

参数
  • airbyte_conn_id (str) – 可选。 用于获取 Airbyte 连接信息的 Airflow 连接的名称。 默认为“airbyte_default”。

  • connection_id (str) – 必需。 源和目标之间的 Airbyte ConnectionId UUID。

  • asynchronous (bool) – 可选。 在将作业提交到 Airbyte API 后获取 job_id 的标志。 这对于提交长时间运行的作业并使用 AirbyteJobSensor 异步等待它们非常有用。 默认为 False。

  • deferrable (bool) – 在可延迟模式下运行操作符。

  • api_version (str) – 可选。 Airbyte API 版本。 默认为“v1”。

  • wait_seconds (float) – 可选。 检查之间的时间间隔(以秒为单位)。 仅当 asynchronous 为 False 时使用。 默认为 3 秒。

  • timeout (float) – 可选。 等待请求完成的时间量(以秒为单位)。 仅当 asynchronous 为 False 时使用。 默认为 3600 秒(或 1 小时)。

template_fields: collections.abc.Sequence[str] = ('connection_id',)[源代码]
ui_color = '#6C51FD'[源代码]
execute(context)[源代码]

创建 Airbyte 作业并等待完成。

execute_complete(context, event=None)[源代码]

当触发器触发时调用此回调;立即返回。

依赖触发器引发异常,否则假设执行成功。

on_kill()[源代码]

如果任务被取消,则取消作业。

此条目是否有帮助?