Apache Airfow 2.5 刚刚发布,距离 2.4 版本仅仅过去了两个半月!
详情:
📦 PyPI: https://pypi.ac.cn/project/apache-airflow/2.5.0/
📚 文档: https://airflow.org.cn/docs/apache-airflow/2.5.0/
🛠️ 发行说明: https://airflow.org.cn/docs/apache-airflow/2.5.0/release_notes.html
🐳 Docker 镜像: docker pull apache/airflow:2.5.0
🚏 约束文件: https://github.com/apache/airflow/tree/constraints-2.5.0
这种更快的发布周期与我们之前每五到七个月发布一次的习惯不同,这是我们有意识地倾听用户意见,并将更改和改进更快地融入大家工作流程的努力成果。
数据集 UI 的可用性改进
我们在 9 月发布数据集感知调度(Dataset aware scheduling)时,就知道用于管理数据集的工具只是一个最小可行产品(Minimum Viable Product)。在过去两个月里,提交者和贡献者们一直在努力工作,使数据集相关的 UI 更加易用。
但我们尚未完成——请继续关注接下来的几个版本中将推出的更多改进。
airflow dags test 命令大幅改进
这个 airflow 子命令经过重新思考和优化,使得在本地测试 DAG 变得更加容易——主要变化如下:
a. 任务日志直接在控制台中可见,而不是隐藏在任务日志文件中。 b. 运行任务的速度比以前快了一个数量级(也就是说,它能更快地进入执行任务代码)。 c. 所有内容都在一个进程中运行,因此你可以在你的 IDE 中设置断点,并将其配置为运行 airflow dags test <mydag>,然后就可以调试代码了!
网格视图中任务日志的自动追踪(Auto tailing)
希望标题本身已足够说明。这很棒,快去试试吧。
动态任务映射的更多改进
与数据集(UI)的改进类似,我们持续迭代并改进了首次在 Airflow 2.3 中添加的动态任务映射(Dynamic Task Mapping)功能,2.5 版本包含了数十项改进。
感谢贡献者们
Andrey Anshin、Ash Berlin-Taylor、blag、Bolke de Bruin、Brent Bovenzi、Chenglong Yan、Daniel Standish、Dov Benyomin Sohacheski、Elad Kalif、Ephraim Anierobi、Jarek Potiuk、Jed Cunningham、Jorrick Sleijster、Michael Petro、Niko、Pierre Jeambrun、Tzu-ping Chung 以及更多,超过 75 位贡献者。谢谢你们!
特别感谢 Ephraim,他作为发布经理在幕后不知疲倦地工作!
虽然变更日志比 2.4 短得多,但我相信你会同意,有一些非常棒的改变。
分享