Google Cloud Looker 操作符¶

Looker 是一款商业智能软件和大数据分析平台，可帮助您轻松探索、分析和共享实时业务分析。

Looker 拥有一个公共 API 和不同语言的相关 SDK 客户端，允许以编程方式访问 Looker 数据平台。

有关详细信息，请访问Looker API 文档。

先决条件任务¶

要使用这些操作符，您必须执行以下几项操作

通过 pip 安装 API 库。

pip install 'apache-airflow[google]'

有关详细信息，请参阅安装。

在 Airflow 中设置 Looker 连接。您可以查看管理连接和Google Cloud Platform Looker 连接

启动 PDT 物化作业¶

要将 PDT 物化作业提交到 Looker，您需要提供模型和视图名称。

可以使用以下方式以同步（阻塞）模式提交作业配置：LookerStartPdtBuildOperator。

airflow/providers/google/cloud/example_dags/example_looker.py[源代码]

build_pdt_task = LookerStartPdtBuildOperator(
    task_id="build_pdt_task",
    looker_conn_id="your_airflow_connection_for_looker",
    model="your_lookml_model",
    view="your_lookml_view",
)

或者，可以使用以下方式以异步模式提交作业配置：LookerStartPdtBuildOperator和LookerCheckPdtBuildSensor。

airflow/providers/google/cloud/example_dags/example_looker.py[源代码]

start_pdt_task_async = LookerStartPdtBuildOperator(
    task_id="start_pdt_task_async",
    looker_conn_id="your_airflow_connection_for_looker",
    model="your_lookml_model",
    view="your_lookml_view",
    asynchronous=True,
)

check_pdt_task_async_sensor = LookerCheckPdtBuildSensor(
    task_id="check_pdt_task_async_sensor",
    looker_conn_id="your_airflow_connection_for_looker",
    materialization_id=start_pdt_task_async.output,
    poke_interval=10,
)

作业中需要提供的参数比示例中显示的要多。有关参数的完整列表，请查看airflow.providers.google.cloud.operators.looker.LookerStartPdtBuildOperator中的 Looker 操作符参数