apache-airflow-providers-celery
更新日志¶
3.18.0¶
发布日期：2026-04-12
特性¶
忽略已在运行的任务的重复投递消息 (#64052)
漏洞修复¶
修复 amqps:// SSL 配置和 celery_config_options 被绕过的问题 (#64392)
其他¶
清理 CeleryExecutor 以使用工作负载术语和类型注解 (#63888)兼容性 sdk 配置后续：Celery, Common AI, FAB, Edge3 (#64292)
3.17.2¶
发布日期：2026-03-28
Bug 修复¶
为 2.11.X 路径设置任务名称 (#63746)修复混合执行程序中 'queued_tasks' 类型不匹配的问题 (#63744)添加 gc.freeze 以最大限度地减少 Celery worker 中的内存使用 (#62212)针对硬编码的 24 小时 visibility_timeout 发出警告，该超时会中断长时间运行的 Celery 任务 (#62869)
杂项¶
添加对 Python 3.14 的支持 (#63520)重构：移除计划在 Airflow 3.2 中删除的模块 (#62927)使 test_celery_integration 可运行 (#64153)更新 celery 提供程序配置导入，以使用通用的兼容 SDK (#64134)
3.17.1¶
发布日期：2026-03-13
错误修复¶
确保 Celery 任务在 worker 启动时注册 (main) (#63110)
3.17.0¶
发布日期：2026-03-04
特性¶
Celery：在无驱动程序的 Postgres URL 中显式指定 'psycopg2' (#62159)执行程序同步回调工作负载 (#61153)在 Celery 执行器中启用多团队功能 (#62534)
漏洞修复¶
docs(celery)：修复 CLI 中的错误链接 (#62460)修复 macOS 上由于无法序列化的本地函数导致的 Celery worker 崩溃 (#62655)
其他¶
插入类似于团队配置的 team_name 以实现 2.X 兼容性 (#61923)
3.16.0¶
发布日期： 2026-02-14
功能¶
AIP-67 - 多团队：更新 Celery 执行器以支持多团队 (#60675)
错误修复¶
使用 TaskFormatter 进行 Celery 日志格式化，而不是默认的 Formatter (#61701)修复 Celery 执行器中的 Redis 导入竞态条件 (#61362)
3.15.2¶
发布日期：2026-02-02
其他¶
在 task-sdk 中定义 'TaskInstanceKey' 以支持客户端服务端分离 (#60776)
3.15.1¶
发布日期：2026-01-17
杂项¶
在 provider 中使用来自 compat sdk 的 ''AirflowOptionalProviderFeatureException'' (#60335)新的一年意味着版权声明的更新 (#60344)在提供商元数据中引入 "cli" 部分 (#59805)
3.15.0¶
发布日期：2026-01-02
特性¶
添加 result_backend_transport_options 以在 Celery 中支持 Redis Sentinel (#59498)
杂项¶
清理 settings.py 中的变量 (#59875)移除 Core 中的顶级 SDK 引用 (#59817)添加并修复 SIM107 和 B012 Ruff 规则 (#59770)
3.14.1¶
发布日期：2025-12-13
其他¶
在 provider 中添加异常的向后兼容支持 (#58727)将跟踪和指标代码移动到通用的可观测性包下 (#56187)从 celery 提供程序中移除 global (#58869)
3.14.0¶
发布日期：2025-12-02
注意
根据 Apache Airflow providers 支持政策 <https://github.com/apache/airflow/blob/main/PROVIDERS.rst#minimum-supported-version-of-airflow-for-community-managed-providers>_ 的说明，此版本的 provider 仅适用于 Airflow 2.11+。
特性¶
在工作负载中发送执行程序集成信息 (#57800)为 Celery worker 添加重复主机名检查 (#58591)
其他¶
将部分异常移至 TaskSDK (#54505)将 provider 中最低 Airflow 版本提升至 Airflow 2.11.0 (#58612)修复对 common-compat provider 的下限依赖 (#58833)
3.13.1¶
发布日期：2025-11-17
杂项¶
转换所有 airflow 发行版以符合 ASF 要求 (#58138)将 'celery' 迁移到 'common.compat' (#57322)
仅限文档¶
[文档] 修复一些打字错误和拼写错误 (#57225)
3.13.0¶
发布日期：2025-10-26
特性¶
添加 CLI 命令以从 Celery worker 中移除所有队列 (#56195)
杂项¶
移除 CELERY_APP_NAME 已弃用的功能 (#56835)
仅文档¶
更新 celery broker_url 配置描述 (#56917)更新 monkey-patch 引用的失效链接 (#56862)
3.12.4¶
发布日期： 2025-09-28
错误修复¶
仅在通过 CLI 传递时才向 celery worker 发送主机名 (#55913)不要对 'airflow celery' CLI 命令进行不必要的 数据库迁移检查。 (#55878)修复：在 BulkStateFetcher 中使用 get 而不是 hasattr 获取 task_result (#52839)
杂项¶
AIP-67 - 多团队：在 CeleryExecutor 中将 args/kwargs 传递给 super (#56006)
3.12.3¶
发布日期：2025-09-09
错误修复¶
修复 macos 上 setproctitle 的使用问题 (#53122)修复 celery 可见性超时 (设置为 23.5 小时，而不是预期的 24 小时) (#54480)
杂项¶
移除 MappedOperator 继承 (#53696)修复 provider 中超时导入的 mypy no-redef 错误 (#54471)尽可能更新为使用来自 SDK 的超时上下文管理器 (#54183)
仅限文档¶
使 provider 文档中的 Dag 术语保持一致 (#55101)
3.12.2¶
发布日期：2025-08-02
杂项¶
为 Airflow 添加 Python 3.13 支持。 (#46891)清理 celery 提供程序中的 mypy 忽略 (#53261)mypy 升级后移除整个代码库中的 type ignore (#53243)针对 Python 3.10+ 使用标准库 ''typing'' 导入 (#53158)移除“python-requires”的高版本限制 (#52980)暂时切换为使用 >=,< 模式替代“~=” (#52967)
3.12.1¶
发布日期: 2025-07-06
错误修复¶
防止旧版静态混合执行器在 Airflow 3 中运行 (#51760)
其他¶
将 ruff 升级到最新版本 (0.12.1) (#52562)停止支持 Python 3.9 (#52072)在 providers 中使用来自 task sdk 的 BaseSensorOperator (#52296)从 celery_executor.py 中移除未使用的导入 Sequence (#52290)将 type-ignores 向上移动一行 (#52195)忽略已弃用执行程序的 mypy 错误 (#52187)
3.12.0¶
发布日期：2025-06-18
功能¶
通过工作器和队列管理功能增强 Celery CLI (#51257)
漏洞修复¶
修复 Celery 执行器子进程，使其使用 subprocess.run 流式传输 stdout/stderr (#50682)
杂项¶
将 worker_umask 添加到 celery provider.yaml (#51218)移除执行器中的 Airflow 2 代码路径 (#51009)防止旧版静态混合执行程序在 Airflow 3 中运行 (#51733)
仅限文档¶
更新执行程序和提供程序文档，强调两个静态编码的混合执行程序在 Airflow 3.0.0+ 中不再受支持 (#51715)
3.11.0¶
发布日期：2025-05-18
注意
此提供程序的此发行仅在 Airflow 2.10+ 上可用，详情请参阅 Apache Airflow 提供程序支持政策。
错误修复¶
修复 Airflow v2 中执行 API 服务器 URL 的相对路径处理 (#49782)
其他¶
最低 provider 版本=2.10；自由使用 running_state (#49924)移除 AIRFLOW_2_10_PLUS 条件 (#49877)将 providers 中的最低 Airflow 版本提升至 2.10 (#49843)使默认执行服务器 URL 相对于 API 基础 URL (#49747)
3.10.6¶
发布日期：2025-04-14
Bug 修复¶
将 serve_logs 放回核心中 (#49031)
其他¶
从预安装的提供者中移除 fab (#48457)
3.10.5¶
发布日期：2025-04-09
Bug Fixes¶
再次修复 Airflow 2.x 上的 Celery 执行器 (#48806)
其他¶
从基本执行程序中删除 change_sensor_mode_to_reschedule (#48649)将 Celery 库的最低版本更新至 5.5.0 (#43777)
3.10.4¶
发布日期: 2025-03-31
漏洞修复¶
调度程序在为使用任务 SDK 的执行器传递 'executor_config' 时不应崩溃 (#47548)
其他¶
AIP-81: 平铺核心 CLI 命令 (#48224)
3.10.3¶
发布日期: 2025-03-13
Bug 修复¶
在使用 CeleryExecutor 传递 executor_config 时避免调度程序崩溃 (#47375)bugfix: Airflow v2 无法导入名称 'workloads' (#47152)
其他¶
摆脱 google-re2 作为依赖项 (#47493)移除旧的 'task run' 命令和 LocalTaskJob (#47453)禁止从任务、DAG 处理和触发器访问 ORM (#47320)实现陈旧的 DAG 包清理 (#46503)在新 UI 中渲染结构化日志，而不是显示原始 JSON (#46827)将 execution_api_server_url 配置移动到核心部分 (#46969)升级 flit 至 3.11.0 (#46938)
3.10.2¶
发布日期：2025-02-26
注意
此版本没有代码更改。发布此版本是由于之前的版本因打包问题被撤回（yank）。
3.10.1¶
发布日期：2025-02-21
漏洞修复¶
修复 Local 和 Celery 执行器中的日志拼写错误 (#46866)
其他¶
重构 TriggererJobRunner 以在没有数据库访问权限的进程中运行触发器 (#46677)AIP-66: 使 DAG 回调能够识别 bundle (#45860)切换 CeleryExecutor 以使用 TaskSDK 进行执行。 (#46265)从 CeleryExecutor CLI 中移除 2.8 版本检查 (#46910)
3.10.0¶
发布日期： 2025-01-27
功能¶
添加对自定义 celery 配置的支持 (#45038)
错误修复¶
修复 Celery 提供程序中 CLI 导入的版本检查 (#45255)
杂项¶
AIP-72: 在任务 SDK 中支持 DAG 解析上下文 (#45694)AIP-72：在 SDK 中为 Context 字典提供更好的类型提示支持 (#45583)
3.9.0¶
发布日期：2024-12-26
注意
如 Apache Airflow 提供商支持策略中所述，此版本的提供商仅适用于 Airflow 2.9+。
其他¶
将提供商中最低 Airflow 版本提升至 Airflow 2.9.0 (#44956)AIP-81 根据混合、本地和远程将 CLI 命令移动到对应目录 (#44538)从代码中移除 AIP-44 配置 (#44454)
3.8.5¶
发布日期：2024-11-27
Bug 修复¶
当任务卡在排队状态时重新排队 (#43520)
3.8.4¶
发布日期：2024-11-18
其他¶
AIP-72：移除 DAG pickle (#43667)将 python 算子移动到 Standard provider (#42081)
3.8.3¶
发布日期：2024-10-14
Bug 修复¶
所有执行程序都应继承自 BaseExecutor (#41904)在 celery 任务处理期间移除状态同步 (#41870)
其他¶
更改导入以对 BashOperator 使用标准提供程序 (#42252)
3.8.2¶
发布日期：2024-09-24
杂项¶
从 providers 中移除已弃用的 soft_fail (#41710)
3.8.1¶
发布日期：2024-08-28
Bug 修复¶
修复：'CeleryKubernetesExecutor' 和 'LocalKubernetesExecutor' 中缺少 'slots_occupied' (#41602)
3.8.0¶
发布日期：2024-08-22
注意
根据 Apache Airflow provider 支持政策，此版本的 provider 仅适用于 Airflow 2.8+。
杂项¶
将各 provider 的最低 Airflow 版本提升至 Airflow 2.8.0 (#41396)删除已弃用的 SubDags (#41390)
3.7.3¶
发布日期：2024-08-06
Bug 修复¶
将 broker 的可见性超时增加到 24 小时 (#40879)
3.7.2¶
发布日期：2024-06-09
Bug 修复¶
修复异常类型以包含 TypeError，这是在 (#40012) 中引发的异常如果 _execute_in_fork finally 块中发生异常，捕获 sentry flush (#40060)
杂项¶
将 PID 和返回代码添加到 _execute_in_fork 日志中 (#40058)
3.7.1¶
发布日期：2024-05-30
杂项¶
更快的 'airflow_version' 导入 (#39552)简化 'airflow_version' 导入 (#39497)ECS 执行器：激活后将任务设置为 RUNNING 状态 (#39212)移除 2.7.0 的兼容代码 - 现在它是最低的 Airflow 版本 (#39591)其他：添加关于移除未使用代码的注释 (#39748)
3.7.0¶
发布日期：2024-05-06
注意
正如 Apache Airflow 提供者支持策略 中所述，此版本的提供者仅适用于 Airflow 2.7+。
杂项¶
将提供者中的最低 Airflow 版本提升至 Airflow 2.7.0 (#39240)
3.6.2¶
发布日期：2024-04-13
Bug 修复¶
确保在装饰器上下文管理器中调用 __exit__ (#38383)使用内部 API 时不要释放 sqlalchemy 引擎 (#38562)对于 Airflow < 2.8.0，使用 Airflow 包中的 celery worker CLI (#38879)
杂项¶
允许使用 'redis'>=5 (#38385)AirflowOptionalProviderFeatureException 的重新引发应是直接的 (#38555)
3.6.1¶
发布日期：2024-03-08
Bug 修复¶
从 celery 选项中移除 pid 参数以修复重复 pid 问题，将 celery 命令移动到提供程序包 (#36794)将 AirflowTaskTimeout 更改为继承 BaseException (#35653)
杂项¶
将执行器文档迁移到各自的 providers (#37728)
3.6.0¶
发布日期: 2024-02-15
功能特性¶
向 Celery 执行器添加 'task_acks_late' 配置 (#37066)
杂项¶
改进关于防止 celery 命令自动伸缩错误配置的信息 (#36576)
3.5.2¶
发布日期：2024-01-27
Bug 修复 (Bug Fixes)¶
修复提供者中 warnings.warn 的 stacklevel (#36831)
3.5.1¶
发布日期：2023-12-27
Bug 修复¶
修复从 ENV 加载 'sentinel_kwargs' 的问题 (#36318)
3.5.0¶
发布日期：2023-12-12
注意
正如 Apache Airflow 提供者支持策略 中所述，此版本的提供者仅适用于 Airflow 2.6+。
杂项¶
将 provider 中 最低 Airflow 版本 提升至 Airflow 2.6.0 (#36017)
3.4.1¶
发布日期：2023-10-21
Bug 修复¶
修复 _SECRET 和 _CMD broker 配置 (#34782)从 Celery 执行器警告中删除敏感信息 (#34954)
3.4.0¶
发布日期：2023-10-17
注意
如 Apache Airflow providers 支持策略 中所述，此版本的 provider 仅适用于 Airflow 2.5+。
杂项 (Misc)¶
提升 providers 的最低 airflow 版本 (#34728)当为 celery 传感器引发异常时，遵循 soft_fail 参数 (#34474)
3.3.4¶
发布日期：2023-09-12
错误修复¶
修复 celery 执行器中 update_task_state 的条件 (#34192)
杂项¶
合并 providers 中类似的 if 逻辑 (#33987)通过排除 5.3.2 和 5.3.3 来限制 celery (#34031)在 providers 中用 contextlib.suppress 替换 try-except-pass (#33980)通过将部分模块导入放入类型检查块 改进 Airflow providers 的 modules import （#33754）
3.3.3¶
发布日期：2023-08-29
错误修复¶
修复 Python 3.8 的 celery 和 opentelemetry 依赖项 (#33579)
杂项¶
使身份验证管理器提供其自己的 airflow CLI 命令 (#33481)重构 Sqlalchemy 查询为 2.0 风格 (第7部分) (#32883)
3.3.2¶
发布日期：2023-08-14
杂项 (Misc)¶
向 cncf.kubernetes 和 celery providers 添加缺失的 re2 依赖 (#33237)在 Airflow 执行器中用 TaskInstanceState 替换 State (#32627)
3.3.1¶
发布日期：2023-08-08
杂项¶
添加执行器 CLI 命令的文档生成 (#33081)摆脱 Python2 数字遗留物 (#33050)
3.3.0¶
发布日期: 2023-08-01
注意
此提供程序版本是第一个将 Celery 执行器和 Celery Kubernetes 执行器从核心 apache-airflow 包移动到 Celery 提供程序包的版本。它还要求安装 apache-airflow-providers-cncf-kubernetes 7.4.0+ 版本以使用 CeleryKubernetesExecutor。您可以使用 pip install apache-airflow-providers-celery[cncf.kubernetes] 安装带有 cncf.kubernetes 扩展的提供程序，以获取正确版本的 cncf.kubernetes 提供程序。
特性¶
将 CeleryExecutor 移动到 celery 提供程序 (#32526)为旧版本提供程序添加 Airflow-2-7 之前的硬编码配置默认值 (#32775)[AIP-51] 执行器 CLI 命令 (#29055)
杂项¶
将所有 k8S 类移动到 cncf.kubernetes 提供者中 (#32767)添加执行器发现和文档 (#32532)将 default_celery.py 移动到提供程序内部 (#32628)在执行器 CLI 销售中引发原始导入错误 (#32931)
3.2.1¶
发布日期: 2023-06-23
注意
此版本停止了对 Python 3.7 的支持
杂项¶
添加 关于 在 提供程序 中 移除 Python 3.7 的 说明 (#32015)
3.2.0¶
发布日期: 2023-05-22
注意
正如 Apache Airflow 提供者支持政策中所述，此版本的提供者仅适用于 Airflow 2.4+。
杂项¶
提高提供者中的最低 Airflow 版本要求 (#30917)
3.1.0¶
发布日期：2022-11-18
注意
正如 Apache Airflow 提供程序支持策略中所述，此版本的提供程序仅适用于 Airflow 2.3+。
杂项¶
将所有提供程序的最低 airflow 版本移至 2.3.0 (#27196)
3.0.0¶
发布日期：2022-06-13
破坏性变更¶
注意
此版本的 provider 仅适用于 Airflow 2.2+，详情请参阅 Apache Airflow provider 支持政策。
2.1.4¶
发布日期：2022-04-11
杂项¶
更新执行器绑定依赖项的方法 (#22573)
2.1.3¶
发布日期：2022-03-26
Bug 修复¶
修复错误地为所有 provider 添加的 install_requires (#22382)
2.1.2¶
发布日期：2022-03-19
杂项¶
在 PyPI 中添加 Trove 分类器 (Framework :: Apache Airflow :: Provider)
2.1.1¶
发布日期： 2022-03-10
杂项¶
支持 Python 3.10
2.1.0¶
发布日期： 2021-09-08
功能¶
继 airflow 2.2.0 Celery 版本变更后，celery 提供程序已转换为与 Celery 5 一起工作
2.0.0¶
发布日期：2021-06-23
重大变更¶
自动应用 apply_default 装饰器 (#15667)
警告
由于移除了 apply_default 装饰器，此版本的提供程序需要 Airflow 2.1.0+。如果您的 Airflow 版本 < 2.1.0，并且您想要安装此提供程序版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 软件包版本将自动升级，并且您必须手动运行 airflow upgrade db 来完成迁移。
1.0.1¶
发布日期：2021-02-08
更新了文档和 README 文件。
1.0.0¶
发布日期： 2020-12-14
提供程序的初始版本。