Hive CLI 连接

Hive CLI 连接类型启用 Hive CLI 集成。

认证到 Hive CLI

使用 Airflow 连接到 Hive 有两种方式。

  1. 使用 Hive Beeline。即,使用主机、端口和 schema 创建 JDBC 连接字符串。或者,您可以使用代理用户连接,并指定登录名和密码。

  2. 使用 Hive CLI。即,在 extras 字段中指定 Hive CLI 参数。

一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。

默认连接 ID

默认情况下,所有与 Hive_CLI 相关的 hook 和 operator 都使用 hive_cli_default

配置连接

登录名 (可选)

指定代理用户或 Beeline CLI 的用户名。

密码 (可选)

指定您的 Beeline CLI 密码。

主机 (可选)

指定用于 Hive Beeline 的 JDBC Hive 主机。

端口 (可选)

指定用于 Hive Beeline 的 JDBC Hive 端口。

Schema (可选)

指定您要使用 Beeline 连接的 JDBC Hive 数据库,或指定使用 Hive CLI 运行 HQL 语句的 schema。

使用 Beeline (可选)

如果使用 Beeline CLI,请指定为 True。默认值为 False

代理用户 (可选)

指定一个代理用户来以该用户的身份运行 HQL 代码。

Principal (可选)

指定用于 Hive Beeline 的 JDBC Hive principal。

高可用性 (可选)

如果想连接运行在高可用模式下的 Hive 安装,请指定为 True。相应地指定主机。

在环境变量中指定连接时,应使用 URI 语法进行指定。

请注意,URI 的所有组件都应该进行 URL 编码。

例如

export AIRFLOW_CONN_HIVE_CLI_DEFAULT='hive-cli://beeline-username:beeline-password@jdbc-hive-host:80/hive-database?hive_cli_params=params&use_beeline=True&auth=noSasl&principal=hive%2F_HOST%40EXAMPLE.COM'

这篇文章是否有帮助?