apache-airflow-providers-apache-hdfs

更新日志

4.8.1

杂项

  • 移除 多余的 else 块 (#49199)

4.8.0

新特性

  • 添加 在 Airflow 3 中 读写 HDFS 任务日志的 支持 (#48788)

4.7.1

杂项

  • 将 flit 升级到 3.11.0 (#46938)

4.7.0

注意

此提供程序版本仅适用于 Airflow 2.9+，如 Apache Airflow 提供程序支持策略中所述。

新特性

  • 向 WebHDFSHook 添加 mTLS 支持 (#44561)

杂项

  • 将 提供程序中的 最低 Airflow 版本 提高到 Airflow 2.9.0 (#44956)

4.6.0

新特性

  • 添加了 MultipleFilesWebHdfsSensor (#43045)

杂项

  • 修复了 失败的 静态检查 & 提供程序测试 (#43122)

4.5.1

杂项

  • 移除 已弃用的 日志处理器参数 filename_template (#41552)

4.5.0

注意

此提供程序版本仅适用于 Airflow 2.8+，如 Apache Airflow 提供程序支持策略中所述。

杂项

  • 将 提供程序中的 最低 Airflow 版本 提高到 Airflow 2.8.0 (#41396)

4.4.2

杂项

  • 更新 Python 3.12 的 pandas 最低要求 (#40272)

  • 使用 最低直接依赖解析 实现 按提供程序进行的 测试 (#39946)

4.4.1

杂项

  • 更快的 'airflow_version' 导入 (#39552)

  • 简化 'airflow_version' 导入 (#39497)

4.4.0

注意

此提供程序版本仅适用于 Airflow 2.7+，如 Apache Airflow 提供程序支持策略中所述。

杂项

  • 将 提供程序中的 最低 Airflow 版本 提高到 Airflow 2.7.0 (#39240)

4.3.3

杂项

  • 将 Pydantic 变为 可选依赖 (#37320)

4.3.2

杂项

  • 将 最低 airflow 版本 提高到 2.6 后，从 hdfs 任务处理器中 移除 _read 方法 (#36425)

  • 整合 在 hdfs 任务处理器中 加载 delete_local_logs 配置 (#36422)

4.3.1

错误修复

  • 修复 连接类型 webhdfs (#36145)

4.3.0

注意

此提供程序版本仅适用于 Airflow 2.6+，如 Apache Airflow 提供程序支持策略中所述。

杂项

  • 将 提供程序中的 最低 Airflow 版本 提高到 Airflow 2.6.0 (#36017)

4.2.0

注意

此提供程序版本仅适用于 Airflow 2.5+，如 Apache Airflow 提供程序支持策略中所述。

杂项

  • 提高 提供程序的 最低 airflow 版本 (#34728)

  • 在 提供程序中 使用 'airflow.exceptions.AirflowException' (#34511)

4.1.1

杂项

  • 修复 hdfs 提供程序 异常消息中的 包名 (#33813)

4.1.0

注意

此版本停止支持 Python 3.7

新特性

  • 添加从 HDFS 读写任务实例日志的功能 (#31512)

4.0.0

注意

此提供程序版本仅适用于 Airflow 2.4+，如 Apache Airflow 提供程序支持策略中所述。

重大变更

原有的 HDFS Hook 和 sensor 已移除。它使用了旧的 HDFS snakebite-py3 库，该库多年未更新，并且其使用的 protobuf 已达生命周期终点。

提供程序的 3.* 版本仍然可用，如果您需要使用旧的 hooks 和 sensors，可以使用该版本。

已从该提供程序中移除的 HDFSHook、HDFSSensor、HdfsRegexSensor、HdfsRegexSensor 不再可用。如果您想继续使用它们，可以使用提供程序的 3.* 版本，但建议切换到使用 WebHDFS API 的新 WebHDFSHook 和 WebHDFSSensor。

  • 移除 基于 snakebite-py3 的 HDFS hooks 和 sensors (#31262)

注意

snakebite-py3 库所需的 Protobuf 3 已于 2023 年 6 月结束其生命周期，Airflow 及其提供程序已停止支持它。如果您希望在使用 protobuf 库 4.+ 的同时继续使用基于 snakebite-py3 库的 HDFS hooks 和 sensors，您可以安装提供程序的 3.* 版本，但由于 Protobuf 不兼容性，您需要执行以下两项操作之一：

  • 在您的环境中设置 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 变量。

  • 将 protobuf 降级到最新的 3.* 版本（目前为 3.20.3）

设置 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python 将导致许多使用 protobuf 的库（包括多个 Google 客户端库和 Kubernetes）变慢很多。将 protobuf 降级到（已结束生命周期的）3.* 版本将导致某些最新版本的新提供程序不兼容（例如 google 和 grpc），您也必须降级这些提供程序。这两者都应仅视为临时解决方案，并且您应尽快迁移到 WebHDFS。

杂项

  • 提高 提供程序中的 最低 Airflow 版本 (#30917)

3.2.1

错误修复

  • 修复 HDFSHook HAClient 无效的问题 (#30164)

3.2.0

注意

此提供程序版本仅适用于 Airflow 2.3+，如 Apache Airflow 提供程序支持策略中所述。

杂项

  • 将 所有提供程序的 最低 airflow 版本 移至 2.3.0 (#27196)

3.1.0

新特性

  • 为 webhdfs sensor 添加 认证  (#25110)

3.0.1

错误修复

  • 'WebHDFSHook' 错误修复/可选 端口 (#24550)

3.0.0

重大变更

杂项

  • chore: 重构和 清理 Apache 提供程序 (#24219)

2.2.3

错误修复

  • 修复 为所有提供程序 错误添加 install_requires 的问题 (#22382)

2.2.2

杂项

  • 在 PyPI 中添加 Trove 分类器 (Framework :: Apache Airflow :: Provider)

2.2.1

杂项

  • 支持 Python 3.10

  • 添加 WebHDFS 操作符的 how-to 指南 (#21393)

2.2.0

新特性

  • hdfs 提供程序： 恢复 webhdfs 的 HA 支持 (#19711)

2.1.1

错误修复

  • 修复 webhdfs hook 中的 get_connections 弃用警告 (#18331)

2.1.0

新特性

  • hdfs 提供程序： 允许 SSL webhdfs 连接 (#17637)

杂项

  • 优化 Airflow 2.2.0 的 连接导入

2.0.0

重大变更

  • 自动应用 apply_default 装饰器 (#15667)

警告

由于移除了 apply_default 装饰器，此版本的提供程序需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此提供程序版本，请先将 Airflow 升级到至少 2.1.0 版本。否则您的 Airflow 包版本将自动升级，并且您必须手动运行 airflow upgrade db 来完成迁移。

1.0.1

更新了文档和 readme 文件。

1.0.0

提供程序的初始版本。

此条目有帮助吗？