Apache HDFS 连接¶

Apache HDFS 连接类型允许连接到 Apache HDFS。

默认连接 ID¶

Web HDFS Hook 使用参数 webhdfs_conn_id 作为连接 ID，默认情况下参数值为 webhdfs_default。

主机

要连接的主机，可以是 local、yarn 或 URL。对于 Web HDFS Hook，可以使用逗号分隔的列表指定多个主机。

端口

如果主机是 URL，请指定端口。

登录名

HDFS 操作的实际用户（非 Kerberized）。

额外（可选，连接参数）

指定可在 Web HDFS 连接中使用的额外参数（json 字典）。以下额外参数可用于为 Web HDFS Hook 配置 SSL。

use_ssl - 是否使用 SSL。默认设置为 false。
verify - SSL 验证方式。更多信息请参阅 https://docs.python-requests.org/en/master/user/advanced/#ssl-cert-verification。
cert - mTLS 客户端证书路径，可为合并证书或与 key 一起使用
key - 与 cert 配合使用的 mTLS 客户端密钥路径。
cookies - 向会话添加 cookies。
headers - 向会话添加 headers。