apache-airflow-providers-apache-hive

变更日志

9.0.0

注意

此提供程序版本仅适用于 Airflow 2.9+，如Apache Airflow 提供程序支持策略中所述。

重大更改

警告

所有已弃用的类、参数和功能都已从 {provider_name} 提供程序包中删除。引入了以下重大更改

  • 为 auth_mechanism 删除了已弃用的 GSSAPI。请改用 KERBEROS。

  • 从 Apache hive Provider 中删除 弃用项 （#44715）

其他

  • 将 提供程序中 的 最低 Airflow 版本 提升 到 Airflow 2.9.0 （#44956）

  • 更新 多个 提供程序 文档 中的 DAG 示例 链接 （#44034）

  • 将 整个 代码库中的 execution_date 重命名 为 logical_date （#43902）

8.2.1

其他

  • 为 DbApiHook、 PrestoHook 和 TrinoHook 添加 对 分号删除 的支持 （#41916）

  • 解释 如何 将 uv 与 airflow virtualenv 一起使用 并 使其正常工作 （#43604）

  • 将 'uncompress_file' 函数 从 'airflow.utils' 移动 到 Hive 提供程序 （#43526）

8.2.0

注意

此提供程序版本仅适用于 Airflow 2.8+，如Apache Airflow 提供程序支持策略中所述。

其他

  • 将 提供程序中 的 最低 Airflow 版本 提升 到 Airflow 2.8.0 （#41396）

8.1.2

其他

  • 更新 Python 3.12 的 pandas 最低 要求 （#40272）

  • 使用 最低直接 依赖项 解析 实现 每个提供程序 的 测试 （#39946）

8.1.1

其他

  • 更快的 'airflow_version' 导入 （#39552）

  • 简化 'airflow_version' 导入 （#39497）

  • 改进 hive hook 中的 高可用性 字段 名称 （#39658）

8.1.0

注意

此提供程序版本仅适用于 Airflow 2.7+，如Apache Airflow 提供程序支持策略中所述。

其他

  • 将 提供程序中 的 最低 Airflow 版本 提升 到 Airflow 2.7.0 （#39240）

8.0.0

重大更改

将 hive cli 连接中的 use_beeline 的默认值更改为 True。在此连接类型中，Beeline 将始终默认启用。

从 HiveHook 和相关操作符中删除了已弃用的参数 authMechanism。请在您的 extra 中改用 auth_mechanism。

HiveOperator：删除了方法 get_hook，改为使用 hook 属性。

HiveStatsCollectionOperator：删除了已弃用的 col_blacklist，改为使用 excluded_columns。

  • 为 hive cli 连接 默认设置 use_beeline （#38763）

  • 删除 hive 提供程序中 的 已弃用代码 （#38859）

功能

  • 为 高可用性 Hive 安装 向 hive hook 添加 支持 （#38651）

7.0.1

其他

  • 从 代码中删除 对 Jira Issues 的引用 （#37807）

  • 将 'aws_conn_id' 类型 统一 为 始终 为 'str | None' （#37768）

  • 将 'pandas' 限制 为 '<2.2' （#37748）

7.0.0

重大更改

删除在连接中将代理用户指定为 owner 或 login 或 as_param 的功能。现在，在 Proxy User 连接参数中设置用户或将 proxy_user 传递给 HiveHook 即可完成此操作。

  • `` 简化 hive 客户端连接 （#37043）``

其他

  • 修复 pyhive hive_pure_sasl 额外 名称 （#37323）

6.4.2

Bug 修复

  • 修复 'hive-stats' 中 '__init__' 中 模板字段 的 赋值 （#36905）

其他

  • 将 所有 提供程序 和 airflow 的 最低 pandas 依赖项 设置为 1.2.5 （#36698）

6.4.1

Bug 修复

  • 修复 'hive_to_samba.py' 中 '__init__' 中 模板字段 的 赋值 （#36486）

6.4.0

功能

  • 为 hive 添加 参数 代理 用户 （#36221）

其他

  • 通过 Ruff 在 文档字符串中 添加 代码片段格式 （#36262）

6.3.0

注意

此提供程序版本仅适用于 Airflow 2.6+，如Apache Airflow 提供程序支持策略中所述。

其他

  • 将 提供程序中 的 最低 Airflow 版本 提升 到 Airflow 2.6.0 （#36017）

6.2.0

注意

此提供程序版本仅适用于 Airflow 2.5+，如Apache Airflow 提供程序支持策略中所述。

其他

  • 提升 提供程序 的 最低 airflow 版本 （#34728）

  • 整合 HiveOperator 中的 hook 管理 （#34430）

6.1.6

其他

  • 重构 提供程序中 的 正则表达式 （#33898）

  • 在 Airflow 提供程序中 将 序列 连接 替换为 解包 （#33933）

  • 在 Hive 提供程序中，使用 next() 替换 单个 元素 切片 (#33937)

  • 在 提供程序中，使用 带 有 多个 上下文 的 单个 语句，而不是 嵌套 语句 (#33768)

  • 在 Hive 钩子中，使用 startswith 一次 和 一个 元组 (#33765)

  • 重构: 简化 一些 循环 (#33736)

  • E731: 在 Airflow 提供程序中，用 def 方法 替换 lambda (#33757)

  • 在 Airflow 提供程序中，使用 f-string 代替 (#33752)

6.1.5

注意

该提供程序现在使用 pure-sasl，这是一个纯 Python 实现的 SASL，它比以前的 SASL 实现维护得更好，即使对于 SASL 接口来说速度稍慢。它还允许为 Python 3.11 安装 Hive。

杂项

  • 恢复 对 Python 3.11 的 Hive 支持 (#32607)

  • 重构: 简化 Apache/Alibaba 提供程序中的 代码 (#33227)

  • 在 适用情况下，将 'X for X in Y' 简化为 'Y' (#33453)

  • 用 普通 dict 替换 OrderedDict (#33508)

  • 简化 enumerate 周围的 代码 (#33476)

  • 在 提供程序中，使用 str.splitlines() 拆分 行 (#33593)

  • 简化 providers/apache 中 对 len() 的 条件 (#33564)

  • 用 正确的 格式 替换 repr() (#33520)

  • 避免在 运行时和模块级别 导入 pandas 和 numpy (#33483)

  • 整合 pandas 的 导入 和 使用 (#33480)

6.1.4

杂项

  • 恢复 mysql-connector-python 作为 必需的 依赖项 (#32989)

6.1.3

错误修复

  • 修复 Hive 的 Pandas2 兼容性 (#32752)

杂项

  • 为 DbApiHook.run 方法添加 更准确的 类型 (#31846)

  • 将 Hive 配置 移动到 Apache Hive 提供程序 (#32777)

6.1.2

错误修复

  • 添加 proxy_user 模板 检查 (#32334)

6.1.1

注意

此版本放弃了对 Python 3.7 的支持

错误修复

  • 清理 beeline principal 参数 (#31983)

杂项

  • 用 标准 csv 库 替换 unicodecsv (#31693)

6.1.0

注意

此提供程序版本仅适用于 Airflow 2.4+，如Apache Airflow 提供程序支持策略中所述。

杂项

  • 提升 提供程序中 最低 Airflow 版本 (#30917)

  • 更新 'S3Hook' 上 'get_key' 方法的 返回类型 (#30923)

6.0.0

重大更改

auth 选项已从 extra 字段移动到 Hook 中的 auth 参数。如果你的连接中将 auth 定义为额外的参数，则应将其移动到使用 HiveOperator 或其他 Hive 相关运算符的 DAG 中。

  • 将 auth 参数从 extra 移动到 Hook 参数 (#30212)

5.1.3

错误修复

  • 验证 Hive Beeline 参数 (#29502)

5.1.2

杂项

  • 修复了 新 mysql-connector-python 引入的 MyPy 错误 (#28995)

5.1.1

错误修复

  • 将 local_infile 选项从 extra 移动到 hook 参数 (#28811)

5.1.0

特性

apache.hive 提供程序现在提供曾经由 Airflow 提供的 hive 宏。从 apache.hive 的 5.1.0 版本开始，hive 宏由提供程序提供。

  • 将 Hive 宏 移动到 提供程序 (#28538)

  • 使 pandas 依赖项 对 Amazon 提供程序 可选 (#28505)

5.0.0

重大更改

连接中的 hive_cli_params 已移动到 Hook。如果你的连接中将 hive_cli_params 定义为额外的参数，则应将其移动到使用 HiveOperator 的 DAG 中。

  • 将 hive_cli_params 移动到 hook 参数 (#28101)

特性

  • 改进 Hive 钩子中 无效模式的 过滤 (#27808)

4.1.1

错误修复

  • 将 common.sql 提供程序 提升到 1.3.1 (#27888)

4.1.0

注意

此提供程序版本仅适用于 Airflow 2.3+，如Apache Airflow 提供程序支持策略中所述。

杂项

  • 将 所有 提供程序 的 最低 airflow 版本 移动到 2.3.0 (#27196)

错误修复

  • 在 Hive 钩子中 过滤掉 无效模式 (#27647)

4.0.1

杂项

  • 为 common-sql 添加 common-sql 下限 (#25789)

4.0.0

重大更改

  • HiveServer2Hook 的 get_records 中的 hql 参数已重命名为 sql，以匹配 get_records DbApiHook 签名。如果将其用作位置参数，则对你而言没有变化，但是如果将其用作关键字参数，则需要将其重命名。

  • hive_conf 参数已重命名为 parameters，现在它是第二个参数，以匹配 DbApiHook 中的 get_records 签名。如果您使用了该参数，则需要重命名它。

  • get_records 中的 schema 参数是一个可选的 kwargs 额外参数，您可以添加它，以匹配 DbApiHook 中 get_records 的 schema。

  • 弃用 hql 参数并同步 DBApiHook 方法 API (#25299)

  • 移除智能传感器 (#25507)

3.1.0

新特性

  • 将所有 SQL 类移动到 common-sql provider (#24836)

Bug 修复

  • 修复 'HiveMetastoreHook' 和 'HiveServer2Hook' 中连接额外参数 'auth_mechanism' 的问题 (#24713)

3.0.0

重大更改

注意

此 provider 版本仅适用于 Airflow 2.2+ 版本，如 Apache Airflow providers 支持策略中所述。

其他

  • chore: 重构和清理 Apache Providers (#24219)

  • AIP-47 - 将 hive DAG 迁移到新设计 #22439 (#24204)

2.3.3

Bug 修复

  • 修复 HiveToMySqlOperator 的错误文档字符串 (#23316)

2.3.2

Bug 修复

  • 修复为所有 providers 错误添加的 install_requires (#22382)

2.3.1

其他

  • 在 PyPI 中添加 Trove 分类器 (Framework :: Apache Airflow :: Provider)

2.3.0

新特性

  • 在 HiveMetastoreHook 中设置更大的 get_partitions_by_filter 限制 (#21504)

Bug 修复

  • 修复 Hive 中的 Python 3.9 支持问题 (#21893)

  • 修复 'HiveOperator' 的 'template_fields_renderers' 中的键拼写错误 (#21525)

其他

  • 支持 Python 3.10

  • 为 hive operator 添加操作指南 (#21590)

2.2.0

新特性

  • 添加更多 SQL 模板字段渲染器 (#21237)

  • 为新的 SQL 词法分析器添加条件 'template_fields_renderers' 检查 (#21403)

2.1.0

新特性

  • hive provider: 恢复对元存储的 HA 支持 (#19777)

Bug 修复

2.0.3

Bug 修复

  • 修复 hivemetastore hook 中 get_connections 弃用警告 (#18854)

2.0.2

Bug 修复

  • 修复 HiveHook 在尝试读取空表时 get_pandas_df() 失败的问题 (#17777)

其他

  • 优化 Airflow 2.2.0 的连接导入

2.0.1

新特性

  • 添加 Python 3.9 支持 (#15515)

2.0.0

重大更改

  • 自动应用 apply_default 装饰器 (#15667)

警告

由于删除了 apply_default 装饰器，此 provider 版本需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此 provider 版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，您必须手动运行 airflow upgrade db 以完成迁移。

1.0.3

Bug 修复

  • 修复 doc/docstrings 中的错误和拼写错误 (#15180)

  • 修复语法并删除重复的单词 (#14647)

  • 解决与 HiveCliHook kill 相关的问题 (#14542)

1.0.2

Bug 修复

  • 在发布 provider RCs 后，更正了文档和工具中的错误 (#14082)

1.0.1

更新了文档和 readme 文件。

Bug 修复

  • 如果在 LDAP 或 CUSTOM 模式下，移除 HiveServer2Hook 中的密码 (#11767)

1.0.0

provider 的初始版本。

此条目是否有帮助？