apache-airflow-providers-apache-livy

更新日志¶

4.0.0¶

注意

此提供程序版本仅适用于 Airflow 2.9+，如Apache Airflow 提供程序支持策略中所述。

重大更改¶

警告

所有已弃用的类、参数和功能已从 Livy 提供程序包中删除。引入了以下重大更改

操作符
- 从 LivyOperator 中删除 get_hook 方法。请改用 hook 属性

删除 Apache Livy 中的提供程序弃用 (#44631)

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)
更新多个提供程序文档中的 DAG 示例链接 (#44034)

3.9.2¶

其他¶

设置 asgiref>=2.3.0 的下限 (#43001)

3.9.1¶

Bug 修复¶

bugfix/livy-set-base-url (#41658)

3.9.0¶

注意

此提供程序版本仅适用于 Airflow 2.8+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)

3.8.1¶

其他¶

更快的 'airflow_version' 导入 (#39552)
简化 'airflow_version' 导入 (#39497)

3.8.0¶

注意

此提供程序版本仅适用于 Airflow 2.7+，如Apache Airflow 提供程序支持策略中所述。

Bug 修复¶

修复 LivyOperator 触发超时时的错误 (#38916)
修复 LivyOperator 中的 'polling_interval' 参数文档 (#38979)

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)
更新 docstring 'LivyOperator' retry_args 和 deferrable 文档 (#39266)

3.7.3¶

Bug 修复¶

修复 'LivyOperator.spark_params' 的渲染 (#37361)

3.7.2¶

其他¶

提升 aiohttp 最低版本以避免 CVE-2024-23829 和 CVE-2024-23334 (#37110)

3.7.1¶

Bug 修复¶

修复 'livy.py' 中 '__init__' 中模板字段的赋值 (#36490)

3.7.0¶

注意

此提供程序版本仅适用于 Airflow 2.6+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将提供程序中的最低 Airflow 版本提升至 Airflow 2.6.0 (#36017)

3.6.0¶

注意

此提供程序版本仅适用于 Airflow 2.5+，如Apache Airflow 提供程序支持策略中所述。

其他¶

提升提供程序的最低 airflow 版本 (#34728)
整合 LivyOperator 中的 hook 管理 (#34431)

3.5.4¶

其他¶

重构提供程序中的正则表达式 (#33898)
通过将其中一些导入到类型检查块中来改进 Airflow 提供程序中的模块导入 (#33754)

3.5.3¶

其他¶

重构：删除无用的 str() 调用 (#33629)
重构：简化 Apache/Alibaba 提供程序中的代码 (#33227)
简化 providers/apache 中 len() 的条件 (#33564)

3.5.2¶

Bug 修复¶

修复 'session_id' 日志格式上的 'LivyHook' TypeError 异常 (#32051)

其他¶

添加 default_deferrable 配置 (#31712)

3.5.1¶

注意

此版本放弃了对 Python 3.7 的支持

Bug 修复¶

将 Spark appId 推送到 XCOM 以用于可延期模式的 LivyOperator (#31201)

其他¶

优化延迟模式执行 (#31685)

3.5.0¶

注意

此提供程序版本仅适用于 Airflow 2.4+，如Apache Airflow 提供程序支持策略中所述。

其他¶

提升提供程序中的最低 Airflow 版本 (#30917)

3.4.0¶

功能¶

为 SimpleHttpOpeator 添加非登录密码身份验证支持（#29206）

3.3.0¶

功能特性¶

添加带有可延迟模式的 Livy 操作符（#29047）

3.2.0¶

注意

此提供程序版本仅适用于 Airflow 2.3+，如Apache Airflow 提供程序支持策略中所述。

其他¶

将所有提供程序的最低 Airflow 版本移至 2.3.0 （#27196）

功能特性¶

为 Livy 操作符文档添加模板（#27404）
将 Spark 的 'appId' 添加到 xcom 输出（#27376）
为 Livy 操作符添加模板字段渲染器（#27321）

3.1.0¶

功能特性¶

为 LivyHook 添加 auth_type （#25183）

3.0.0¶

重大变更¶

注意

此提供程序版本仅适用于 Airflow 2.2+，如Apache Airflow 提供程序支持策略中所述。

2.2.3¶

Bug 修复¶

修复：将额外的标头添加到所有 Livy API 请求，而不是仅添加到 post_batch （#22510）

2.2.2¶

Bug 修复¶

修复为所有提供程序错误添加的 install_requires （#22382）

2.2.1¶

其他¶

在 PyPI 中添加 Trove 分类器（框架：：Apache Airflow：：提供程序）

2.2.0¶

功能特性¶

为 LivyHook 添加了重试 #19384 （#21550）

其他¶

支持 Python 3.10
为 Livy 操作符添加操作指南（#21529）

2.1.0¶

功能特性¶

为 LivyOperrator 获取和记录 Livy 会话日志（#17393）

其他¶

优化 Airflow 2.2.0 的连接导入

2.0.0¶

重大变更¶

自动应用 apply_default 装饰器（#15667）

警告

由于删除了 apply_default 装饰器，此版本的提供程序需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此提供程序版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，您必须手动运行 airflow upgrade db 来完成迁移。

1.1.0¶

功能特性¶

将 HTTP extra_options 扩展到 LivyHook 和操作符（#14816）

1.0.1¶

更新了文档和自述文件。

1.0.0¶

提供程序的初始版本。