apache-airflow-providers-apache-hdfs

更新日志¶

4.7.0¶

注意

此提供程序版本仅适用于 Airflow 2.9+，如Apache Airflow 提供程序支持策略中所述。

特性¶

添加 mTLS 支持到 WebHDFSHook (#44561)

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)

4.6.0¶

特性¶

添加了 MultipleFilesWebHdfsSensor (#43045)

其他¶

修复了失败的静态检查 & 提供程序测试 (#43122)

4.5.1¶

其他¶

移除已弃用的日志处理程序参数 filename_template (#41552)

4.5.0¶

注意

此提供程序版本仅适用于 Airflow 2.8+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)

4.4.2¶

其他¶

更新 Python 3.12 的 pandas 最低要求 (#40272)
使用最低直接依赖解析实现每个提供程序的测试 (#39946)

4.4.1¶

其他¶

更快 'airflow_version' 导入 (#39552)
简化 'airflow_version' 导入 (#39497)

4.4.0¶

注意

此提供程序版本仅适用于 Airflow 2.7+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)

4.3.3¶

其他¶

将 Pydantic 转换为可选依赖项 (#37320)

4.3.2¶

其他¶

在将最低 airflow 版本提升至 2.6 后，从 hdfs 任务处理程序中删除 _read 方法 (#36425)
合并 hdfs 任务处理程序中的加载 delete_local_logs 配置 (#36422)

4.3.1¶

Bug 修复¶

修复连接类型 webhdfs (#36145)

4.3.0¶

注意

此提供程序版本仅适用于 Airflow 2.6+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)

4.2.0¶

注意

此提供程序版本仅适用于 Airflow 2.5+，如Apache Airflow 提供程序支持策略中所述。

其他¶

提升提供程序的最低 airflow 版本 (#34728)
在提供程序中使用 'airflow.exceptions.AirflowException' (#34511)

4.1.1¶

其他¶

修复 hdfs 提供程序的异常消息中的包名称 (#33813)

4.1.0¶

注意

此版本已删除对 Python 3.7 的支持

特性¶

添加从 HDFS 读取/写入任务实例日志的功能 (#31512)

4.0.0¶

注意

此提供程序版本仅适用于 Airflow 2.4+，如Apache Airflow 提供程序支持策略中所述。

重大更改¶

已删除原始的 HDFS Hook 和传感器。它使用了旧的 HDFS snakebite-py3 库，该库多年没有更新，并且它们使用的 protobuf 已达到生命周期结束。

如果您需要使用旧的 hook 和传感器，仍然可以使用 3.* 版本的提供程序。

从此提供程序中删除了 HDFSHook、HDFSSensor、HdfsRegexSensor、HdfsRegexSensor，它们不再可用。如果想继续使用它们，可以使用 3.* 版本的提供程序，但建议切换到使用 WebHDFS API 的新的 WebHDFSHook 和 WebHDFSSensor。

移除基于 snakebite-py3 的 HDFS hook 和传感器 (#31262)

注意

snakebite-py3 库所需的 Protobuf 3 在 2023 年 6 月已结束生命周期，Airflow 及其提供程序停止支持它。如果您想在拥有 protobuf 库 4.+ 时继续使用基于 snakebite-py3 库的 HDFS hook 和传感器，可以安装 3.* 版本的提供程序，但由于 Protobuf 不兼容，您需要执行以下两件事之一

在您的环境中设置 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 变量。
将 protobuf 降级到最新的 3.* 版本（目前为 3.20.3）

设置 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 会使许多使用 protobuf 的库（包括多个 Google 客户端库和 Kubernetes）速度变慢。将 protobuf 降级到（已经过时的）3.* 版本将导致一些最新版本的新提供程序（例如 google 和 grpc）不兼容，您还需要降级这些提供程序。两者都应仅被视为临时解决方法，您应尽快迁移到 WebHDFS。

其他¶

提升提供程序中的最低 Airflow 版本 (#30917)

3.2.1¶

Bug 修复¶

修复 HDFSHook HAClient 无效 (#30164)

3.2.0¶

注意

正如Apache Airflow 提供者支持策略中所述，此版本的提供者仅适用于 Airflow 2.3+。

杂项¶

将所有提供者的最低airflow版本移至2.3.0 (#27196)

3.1.0¶

特性¶

为webhdfs传感器添加身份验证 (#25110)

3.0.1¶

Bug 修复¶

'WebHDFSHook'Bug修复/可选端口 (#24550)

3.0.0¶

重大更改¶

正如 Apache Airflow 提供者支持策略https://github.com/apache/airflow/blob/main/README.md#support-for-providers中所述，此版本的提供者仅适用于 Airflow 2.2+。

杂项¶

chore:重构和清理Apache提供者 (#24219)

2.2.3¶

Bug 修复¶

修复错误地为所有提供者添加的install_requires (#22382)

2.2.2¶

杂项¶

在PyPI中添加Trove分类器(框架::ApacheAirflow::提供者)

2.2.1¶

杂项¶

支持Python3.10
为WebHDFS操作符添加操作指南 (#21393)

2.2.0¶

特性¶

hdfs提供者：恢复webhdfs的HA支持 (#19711)

2.1.1¶

Bug 修复¶

修复webhdfs钩子中get_connections弃用警告 (#18331)

2.1.0¶

特性¶

hdfs提供者：允许SSLwebhdfs连接 (#17637)

杂项¶

优化Airflow2.2.0的连接导入

2.0.0¶

重大更改¶

自动应用apply_default装饰器 (#15667)

警告

由于删除了 apply_default 装饰器，此版本的提供者需要 Airflow 2.1.0+。如果您的 Airflow 版本 < 2.1.0，并且您想安装此提供者版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，您必须手动运行 airflow upgrade db 以完成迁移。

1.0.1¶

更新了文档和自述文件。

1.0.0¶

提供者的初始版本。