airflow.providers.google.cloud.operators.looker

此模块包含 Google Cloud Looker operators。

LookerStartPdtBuildOperator

提交 PDT 实体化作业到 Looker。

模块内容

class airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator(looker_conn_id, model, view, query_params=None, asynchronous=False, cancel_on_kill=True, wait_time=10, wait_timeout=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交 PDT 实体化作业到 Looker。

参数:
  • looker_conn_id (str) – 必需。用于连接到 Looker 的连接 ID。

  • model (str) – 必需。要开始构建的 PDT 的模型。

  • view (str) – 必需。要开始构建的 PDT 的视图。

  • query_params (dict | None) – 可选。额外的实体化参数。

  • asynchronous (bool) – 可选。指示是等待作业完成还是立即返回的标志。这对于提交长时间运行的作业并使用 LookerCheckPdtBuildSensor 异步等待它们非常有用

  • cancel_on_kill (bool) – 可选。指示当调用 on_kill 时是否取消 hook 的作业的标志。

  • wait_time (int) – 可选。检查作业是否准备好的间隔秒数。仅在 asynchronous 为 False 时使用。

  • wait_timeout (int | None) – 可选。等待作业准备好的秒数。仅在 asynchronous 为 False 时使用。

model[source]
view[source]
query_params = None[source]
looker_conn_id[source]
asynchronous = False[source]
cancel_on_kill = True[source]
wait_time = 10[source]
wait_timeout = None[source]
hook: airflow.providers.google.cloud.hooks.looker.LookerHook | None = None[source]
materialization_id: str | None = None[source]
execute(context)[source]

创建 operator 时派生。

Context 与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

on_kill()[source]

重写此方法以在任务实例被终止时清理子进程。

在 operator 中使用 threading、subprocess 或 multiprocessing 模块时,需要进行清理,否则会留下僵尸进程。

此条目有帮助吗?