apache-airflow-providers-apache-livy

更新日志

4.3.2

其他

  • remove superfluous else block (#49199)

4.3.1

其他

  • Remove sqlite provider from preinstalled and use aiosqlite as core dep (#48966)

4.3.0

新特性

  • add OpenLineage configuration injection to LivyOperator (#47564)

4.2.1

其他

  • Upgrade flit to 3.11.0 (#46938)

4.2.0

注意

此版本没有代码变更。发布此版本是因为上一个版本由于打包问题而被撤回(yank)。

4.1.0

新特性

  • Add 'endpoint_prefix' to 'LivyHook' (#45811)

其他

  • Satisfy Mypy for Livy Hook (#46157)

4.0.0

注意

此 Provider 版本仅适用于 Airflow 2.9+,详情请参阅 Apache Airflow Provider 支持策略

破坏性变更

警告

所有已弃用的类、参数和特性已从 Livy provider 包中移除。引入了以下破坏性变更:

  • 操作符

    • LivyOperator 中移除了 get_hook 方法。请改用 hook 属性。

  • Remove Provider Deprecations in Apache Livy (#44631)

其他

  • Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)

  • Update DAG example links in multiple providers documents (#44034)

3.9.2

其他

  • Set lower bound to asgiref>=2.3.0 (#43001)

3.9.1

Bug 修复

  • bugfix/livy-set-base-url (#41658)

3.9.0

注意

此 Provider 版本仅适用于 Airflow 2.8+,详情请参阅 Apache Airflow Provider 支持策略

其他

  • Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)

3.8.1

其他

  • Faster 'airflow_version' imports (#39552)

  • Simplify 'airflow_version' imports (#39497)

3.8.0

注意

此 Provider 版本仅适用于 Airflow 2.7+,详情请参阅 Apache Airflow Provider 支持策略

Bug 修复

  • Fix bug in LivyOperator when its trigger times out (#38916)

  • Fix 'polling_interval' parameter docs in LivyOperator (#38979)

其他

  • Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)

  • Update docstring 'LivyOperator' retry_args and deferrable docs (#39266)

3.7.3

Bug 修复

  • Fix rendering 'LivyOperator.spark_params' (#37361)

3.7.2

其他

  • Bump aiohttp min version to avoid CVE-2024-23829 and CVE-2024-23334 (#37110)

3.7.1

Bug 修复

  • Fix assignment of template field in '__init__' in 'livy.py' (#36490)

3.7.0

注意

此 Provider 版本仅适用于 Airflow 2.6+,详情请参阅 Apache Airflow Provider 支持策略

其他

  • Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)

3.6.0

注意

此 Provider 版本仅适用于 Airflow 2.5+,详情请参阅 Apache Airflow Provider 支持策略

其他

  • Bump min airflow version of providers (#34728)

  • Consolidate hook management in LivyOperator (#34431)

3.5.4

其他

  • Refactor regex in providers (#33898)

  • Improve modules import in Airflow providers by some of them into a type-checking block (#33754)

3.5.3

其他

  • Refactor: Remove useless str() calls (#33629)

  • Refactor: Simplify code in Apache/Alibaba providers (#33227)

  • Simplify conditions on len() in providers/apache (#33564)

3.5.2

Bug 修复

  • Fix 'LivyHook' TypeError exception on 'session_id' log format (#32051)

其他

  • Add default_deferrable config (#31712)

3.5.1

注意

此版本放弃了对 Python 3.7 的支持

Bug 修复

  • Push Spark appId to XCOM for LivyOperator with deferrable mode (#31201)

其他

  • Optimize deferred mode execution (#31685)

3.5.0

注意

此 Provider 版本仅适用于 Airflow 2.4+,详情请参阅 Apache Airflow Provider 支持策略

其他

  • Bump minimum Airflow version in providers (#30917)

3.4.0

新特性

  • Add non login-password auth support for SimpleHttpOpeator (#29206)

3.3.0

新特性

  • Add Livy Operator with deferrable mode (#29047)

3.2.0

注意

此 Provider 版本仅适用于 Airflow 2.3+,详情请参阅 Apache Airflow Provider 支持策略

其他

  • Move min airflow version to 2.3.0 for all providers (#27196)

新特性

  • Add template to livy operator documentation (#27404)

  • Add Spark's 'appId' to xcom output (#27376)

  • add template field renderer to livy operator (#27321)

3.1.0

新特性

  • Add auth_type to LivyHook (#25183)

3.0.0

破坏性变更

注意

此 Provider 版本仅适用于 Airflow 2.2+,详情请参阅 Apache Airflow Provider 支持策略

2.2.3

Bug 修复

  • Fix: Add extra headers to all livy API requests instead of only to post_batch (#22510)

2.2.2

Bug 修复

  • Fix mistakenly added install_requires for all providers (#22382)

2.2.1

其他

  • Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)

2.2.0

新特性

  • Added retries to LivyHook #19384  (#21550)

其他

  • Support for Python 3.10

  • add how-to guide for livy operator (#21529)

2.1.0

新特性

  • Fetching and logging livy session logs for LivyOperrator (#17393)

其他

  • Optimise connection importing for Airflow 2.2.0

2.0.0

破坏性变更

  • Auto-apply apply_default decorator (#15667)

警告

由于移除了 apply_default 装饰器,此版本的 provider 需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0,且您想安装此 provider 版本,请先将 Airflow 升级到至少 2.1.0 版本。否则,您的 Airflow 包版本将自动升级,并且您将需要手动运行 airflow upgrade db 来完成迁移。

1.1.0

新特性

  • Extend HTTP extra_options to LivyHook and operator (#14816)

1.0.1

  • Updated documentation and readme files.

1.0.0

  • Initial version of the provider.

此条目有帮助吗?