airflow.providers.google.cloud.operators.looker

此模块包含 Google Cloud Looker 操作符。

模块内容

LookerStartPdtBuildOperator

向 Looker 提交一个 PDT 物化作业。

class airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator(looker_conn_id, model, view, query_params=None, asynchronous=False, cancel_on_kill=True, wait_time=10, wait_timeout=None, **kwargs)[源代码]

基类:airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

向 Looker 提交一个 PDT 物化作业。

参数
  • looker_conn_id (str) – 必需。用于连接 Looker 的连接 ID。

  • model (str) – 必需。要开始构建的 PDT 的模型。

  • view (str) – 必需。要开始构建的 PDT 的视图。

  • query_params (dict | None) – 可选。其他物化参数。

  • asynchronous (bool) – 可选。标志,指示是否等待作业完成或立即返回。 这对于提交长时间运行的作业并使用 LookerCheckPdtBuildSensor 异步等待它们非常有用

  • cancel_on_kill (bool) – 可选。标志,指示当调用 on_kill 时是否取消 hook 的作业。

  • wait_time (int) – 可选。检查作业是否准备就绪的间隔秒数。仅当 asynchronous 为 False 时使用。

  • wait_timeout (int | None) – 可选。等待作业准备就绪的秒数。仅当 asynchronous 为 False 时使用。

execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

on_kill()[源代码]

重写此方法以在任务实例被终止时清理子进程。

需要在操作符中清理任何对 threading、subprocess 或 multiprocessing 模块的使用,否则它将留下残留的进程。

此条目是否有帮助?