Apache HDFS 连接¶

Apache HDFS 连接类型允许连接到 Apache HDFS。

默认连接 ID¶

Web HDFS Hook 使用参数 webhdfs_conn_id 作为连接 ID，参数的默认值为 webhdfs_default。

主机

要连接的主机，可以是 local， yarn 或一个 URL。对于 Web HDFS Hook，可以指定多个主机，并用逗号分隔。

端口

如果主机是 URL，请指定端口。

登录

HDFS 操作的有效用户（非 Kerberized）。

额外参数（可选，连接参数）

指定可以在 Web HDFS 连接中使用的额外参数（以 json 字典形式）。以下额外的参数可用于配置 Web HDFS Hook 的 SSL

use_ssl - 是否应该使用 SSL。默认为 false。
verify - 如何验证 SSL。更多信息请参考 https://docs.python-requests.org/en/master/user/advanced/#ssl-cert-verification。
cert - 用于 mTLS 的客户端证书路径，可以组合使用证书或与 key 一起使用
key - 用于 mTLS 的客户端密钥路径，与 cert 一起使用