Apache HDFS 连接¶

Apache HDFS 连接类型支持连接到 Apache HDFS。

默认连接 ID¶

Web HDFS Hook 使用参数 webhdfs_conn_id 作为连接 ID，默认情况下其值为 webhdfs_default。

主机

要连接的主机，可以是 local、yarn 或一个 URL。对于 Web HDFS Hook，可以指定多个主机，用逗号分隔。

端口

如果主机是 URL，请指定端口。

登录

HDFS 操作的有效用户（非 Kerberos 认证）。

额外（可选，连接参数）

指定可在 Web HDFS 连接中使用的额外参数（以 json 字典形式）。以下额外参数可用于为 Web HDFS Hook 配置 SSL。

use_ssl - 是否应使用 SSL。默认设置为 false。
verify - 如何验证 SSL。更多信息请参考 https://docs.python-requests.org/en/master/user/advanced/#ssl-cert-verification。
cert - mTLS 的客户端证书路径，可以是合并证书或与 key 一起使用。
key - mTLS 的客户端密钥路径，与 cert 一起使用。