Apache Pinot Hooks¶

Apache Pinot 是一个用 Java 编写的面向列的开源分布式数据存储。Pinot 旨在以低延迟执行 OLAP 查询。它适用于需要在不可变数据（可能包括实时数据摄取）上进行快速分析（例如聚合）的场景。

先决条件¶

PinotAdminHook¶

此 hook 是对 pinot-admin.sh 脚本的封装，该脚本用于管理 Pinot 集群，并由 Apache Pinot 发行版提供。目前，仅实现了其子命令的一小部分子集，这些子命令用于将离线数据摄取到 Apache Pinot 中（即，AddSchema、AddTable、CreateSegment 和 UploadSegment）。它们的命令选项基于 Pinot v0.1.0。

参数¶

有关参数定义，请查看 PinotAdminHook

tests/system/apache/pinot/example_pinot_dag.py[源代码]

@task
def pinot_admin():
    PinotAdminHook(conn_id="pinot_admin_default", cmd_path="pinot-admin.sh", pinot_admin_system_exit=True)

参考¶

有关更多信息，请参阅 Apache Pinot 针对 PinotAdminHook 的改进 <https://pinot.apache.org/> 的文档

PinotDbApiHook¶

此 hook 使用标准 SQL 端点，因为 PQL 端点即将被弃用。

参数¶

有关参数定义，请查看 PinotDbApiHook

tests/system/apache/pinot/example_pinot_dag.py[源代码]

@task
def pinot_dbi_api():
    PinotDbApiHook(
        task_id="run_example_pinot_script",
        pinot="ls /;",
        pinot_options="-x local",
    )

参考¶

有关更多信息，请参阅 Pinot 关于使用标准 SQL 查询数据的文档 <https://docs.pinot.apache.org/users/api/querying-pinot-using-standard-sql>