apache-airflow-providers-apache-hive

更新日志

9.0.6¶

杂项¶

remove superfluous else block (#49199)

仅文档¶

Improve example docs around SQLExecuteQueryOperator in Druid/Hive/Impala/Kylin/Pinot (#48856)

9.0.5¶

杂项¶

Fix MyPy failing on mssql Cursor (#48686)
Tell mypy that pymssql.BINARY, etc have a .value (#48671)

9.0.4¶

杂项¶

Setting Airflow context Environment variables for operators (#47644)

9.0.3¶

杂项¶

Upgrade flit to 3.11.0 (#46938)

9.0.2¶

注意

此版本无代码更改。发布此版本是由于之前版本因打包问题而被撤回。

9.0.1¶

杂项¶

AIP-72: Support better type-hinting for Context dict in SDK (#45583)
Remove obsolete pandas specfication for pre-python 3.9 (#45399)

9.0.0¶

注意

提供方此版本仅适用于 Airflow 2.9+，具体说明请参阅 Apache Airflow providers support policy。

重大变更¶

警告

所有已弃用的类、参数和功能已从 {provider_name} 提供方软件包中移除。引入了以下重大变更：

移除了 auth_mechanism 中已弃用的 GSSAPI。请改用 KERBEROS。

Remove deprecations from Apache hive Provider (#44715)

杂项¶

Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)
Update DAG example links in multiple providers documents (#44034)
Rename execution_date to logical_date across codebase (#43902)

8.2.1¶

杂项¶

Add support for semicolon stripping to DbApiHook, PrestoHook, and TrinoHook (#41916)
Explain how to use uv with airflow virtualenv and make it works (#43604)
Move 'uncompress_file' function from 'airflow.utils' to Hive provider (#43526)

8.2.0¶

注意

提供方此版本仅适用于 Airflow 2.8+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)

8.1.2¶

杂项¶

Update pandas minimum requirement for Python 3.12 (#40272)
implement per-provider tests with lowest-direct dependency resolution (#39946)

8.1.1¶

杂项¶

Faster 'airflow_version' imports (#39552)
Simplify 'airflow_version' imports (#39497)
Improvising high availability field name in hive hook (#39658)

8.1.0¶

注意

提供方此版本仅适用于 Airflow 2.7+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)

8.0.0¶

重大变更¶

将 hive cli 连接中 use_beeline 的默认值更改为 True。在此连接类型中，Beeline 将始终默认启用。

从 HiveHook 和依赖的操作符中移除了已弃用的参数 authMechanism。请改在 extra 中使用 auth_mechanism。

HiveOperator: 移除了方法 get_hook，请改用 hook 属性。

HiveStatsCollectionOperator: 移除了已弃用的 col_blacklist，请改用 excluded_columns。

Setting use_beeline by default for hive cli connection (#38763)
Removing deprecated code in hive provider (#38859)

新特性¶

Adding support to hive hook for high availability Hive installations (#38651)

7.0.1¶

杂项¶

Remove references from the code to Jira Issues (#37807)
Unify 'aws_conn_id' type to always be 'str | None' (#37768)
Limit 'pandas' to '<2.2' (#37748)

7.0.0¶

重大变更¶

移除了在连接中将代理用户指定为 owner 或 login 或 as_param 的能力。现在，通过设置 Proxy User 连接参数或将 proxy_user 传递给 HiveHook 即可实现此功能。

简化 hive 客户端连接 (#37043)

杂项¶

Fix pyhive hive_pure_sasl extra name (#37323)

6.4.2¶

Bug 修复¶

Fix assignment of template field in '__init__' in 'hive-stats' (#36905)

杂项¶

Set min pandas dependency to 1.2.5 for all providers and airflow (#36698)

6.4.1¶

Bug 修复¶

Fix assignment of template field in '__init__' in 'hive_to_samba.py' (#36486)

6.4.0¶

新特性¶

Add param proxy user for hive (#36221)

杂项¶

Add code snippet formatting in docstrings via Ruff (#36262)

6.3.0¶

注意

提供方此版本仅适用于 Airflow 2.6+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)

6.2.0¶

注意

提供方此版本仅适用于 Airflow 2.5+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Bump min airflow version of providers (#34728)
Consolidate hook management in HiveOperator (#34430)

6.1.6¶

杂项¶

Refactor regex in providers (#33898)
Replace sequence concatenation by unpacking in Airflow providers (#33933)
Replace single element slice by next() in hive provider (#33937)
Use a single statement with multiple contexts instead of nested statements in providers (#33768)
Use startswith once with a tuple in Hive hook (#33765)
Refactor: Simplify a few loops (#33736)
E731: replace lambda by a def method in Airflow providers (#33757)
Use f-string instead of in Airflow providers (#33752)

6.1.5¶

注意

该提供方现在使用 pure-sasl，这是一个纯 Python 实现的 SASL，相比之前的 sasl 实现维护得更好，尽管 sasl 接口速度稍慢。它还允许为 Python 3.11 安装 hive。

杂项¶

Bring back hive support for Python 3.11 (#32607)
Refactor: Simplify code in Apache/Alibaba providers (#33227)
Simplify 'X for X in Y' to 'Y' where applicable (#33453)
Replace OrderedDict with plain dict (#33508)
Simplify code around enumerate (#33476)
Use str.splitlines() to split lines in providers (#33593)
Simplify conditions on len() in providers/apache (#33564)
Replace repr() with proper formatting (#33520)
Avoid importing pandas and numpy in runtime and module level (#33483)
Consolidate import and usage of pandas (#33480)

6.1.4¶

杂项¶

Bring back mysql-connector-python as required depednency (#32989)

6.1.3¶

Bug 修复¶

Fix Pandas2 compatibility for Hive (#32752)

杂项¶

Add more accurate typing for DbApiHook.run method (#31846)
Move Hive configuration to Apache Hive provider (#32777)

6.1.2¶

Bug 修复¶

Add proxy_user template check (#32334)

6.1.1¶

注意

此版本停止支持 Python 3.7

Bug 修复¶

Sanitize beeline principal parameter (#31983)

杂项¶

Replace unicodecsv with standard csv library (#31693)

6.1.0¶

注意

提供方此版本仅适用于 Airflow 2.4+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Bump minimum Airflow version in providers (#30917)
Update return types of 'get_key' methods on 'S3Hook' (#30923)

6.0.0¶

重大变更¶

认证选项已从 extra 字段移至 Hook 中的 auth 参数。如果您的连接中将 extra 参数定义为 auth，则应将其移至使用 HiveOperator 或其他与 Hive 相关的操作符的 DAG 中。

Move auth parameter from extra to Hook parameter (#30212)

5.1.3¶

Bug 修复¶

Validate Hive Beeline parameters (#29502)

5.1.2¶

杂项¶

Fixed MyPy errors introduced by new mysql-connector-python (#28995)

5.1.1¶

Bug 修复¶

Move local_infile option from extra to hook parameter (#28811)

5.1.0¶

新特性¶

apache.hive 提供方现在提供以前由 Airflow 提供的 hive 宏。自 apache.hive 5.1.0 版本起，hive 宏由提供方提供。

Move Hive macros to the provider (#28538)
Make pandas dependency optional for Amazon Provider (#28505)

5.0.0¶

重大变更¶

连接中的 hive_cli_params 已移至 Hook。如果您的连接中将 hive_cli_params 定义为 extra 参数，则应将其移至使用 HiveOperator 的 DAG 中。

Move hive_cli_params to hook parameters (#28101)

新特性¶

Improve filtering for invalid schemas in Hive hook (#27808)

4.1.1¶

Bug 修复¶

Bump common.sql provider to 1.3.1 (#27888)

4.1.0¶

注意

提供方此版本仅适用于 Airflow 2.3+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

Move min airflow version to 2.3.0 for all providers (#27196)

Bug 修复¶

Filter out invalid schemas in Hive hook (#27647)

4.0.1¶

杂项¶

Add common-sql lower bound for common-sql (#25789)

4.0.0¶

重大变更¶

HiveServer2Hook 中 get_records 的 hql 参数已重命名为 sql，以匹配 get_records DbApiHook 的签名。如果您将其用作位置参数，则无需更改，但如果将其用作关键字参数，则需要重命名。
hive_conf 参数已重命名为 parameters，并且现在是第二个参数，以匹配 DbApiHook 中 get_records 的签名。如果您使用了它，则需要重命名。
get_records 中的 schema 参数是一个可选的 kwargs extra 参数，您可以添加它以匹配 DbApiHook 中 get_records 的模式。
Deprecate hql parameters and synchronize DBApiHook method APIs (#25299)
Remove Smart Sensors (#25507)

3.1.0¶

新特性¶

Move all SQL classes to common-sql provider (#24836)

Bug 修复¶

fix connection extra parameter 'auth_mechanism' in 'HiveMetastoreHook' and 'HiveServer2Hook' (#24713)

3.0.0¶

重大变更¶

注意

提供方此版本仅适用于 Airflow 2.2+，具体说明请参阅 Apache Airflow providers support policy。

杂项¶

chore: Refactoring and Cleaning Apache Providers (#24219)
AIP-47 - Migrate hive DAGs to new design #22439 (#24204)

2.3.3¶

Bug 修复¶

Fix HiveToMySqlOperator's wrong docstring (#23316)

2.3.2¶

Bug 修复¶

Fix mistakenly added install_requires for all providers (#22382)

2.3.1¶

杂项¶

Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)

2.3.0¶

新特性¶

Set larger limit get_partitions_by_filter in HiveMetastoreHook (#21504)

Bug 修复¶

Fix Python 3.9 support in Hive (#21893)
修复 'template_fields_renderers' 中针对 'HiveOperator' 的关键拼写错误 (#21525)

杂项¶

支持 Python 3.10
添加针对 hive operator 的操作指南 (#21590)

2.2.0¶

新特性¶

添加更多 SQL 模板字段渲染器 (#21237)
针对新的 SQL 词法分析器添加条件 'template_fields_renderers' 检查 (#21403)

2.1.0¶

新特性¶

hive provider: 恢复对 metastore 的 HA 支持 (#19777)

Bug 修复¶

2.0.3¶

Bug 修复¶

修复 hivemetastore hook 中 get_connections 弃用警告 (#18854)

2.0.2¶

Bug 修复¶

HiveHook 修复 get_pandas_df() 在尝试读取空表时发生的失败 (#17777)

杂项¶

优化 Airflow 2.2.0 的连接导入

2.0.1¶

新特性¶

添加 Python 3.9 支持 (#15515)

2.0.0¶

重大变更¶

自动应用 apply_default 装饰器 (#15667)

警告

由于移除了 apply_default 装饰器，此版本的 provider 要求 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您希望安装此 provider 版本，请首先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，您将不得不手动运行 airflow upgrade db 来完成迁移。

1.0.3¶

Bug 修复¶

修复文档/docstrings 中的错误和拼写错误 (#15180)
修复语法错误并删除重复词汇 (#14647)
解决与 HiveCliHook kill 相关的问题 (#14542)

1.0.2¶

Bug 修复¶

在发布 provider RC 版本后，对文档和工具进行修正 (#14082)

1.0.1¶

更新了文档和 README 文件。

Bug 修复¶

如果在 LDAP 或 CUSTOM 模式下，移除 HiveServer2Hook 的密码 (#11767)

1.0.0¶

此 provider 的初始版本。