apache-airflow-providers-celery
变更日志¶
3.10.6¶
错误修复¶
将 serve_logs 恢复到核心 (#49031)
其他¶
从预装的提供程序中移除 fab (#48457)
3.10.5¶
错误修复¶
再次修复 Celery Executor 在 Airflow 2.x 上的问题。 (#48806)
其他¶
从基础执行器中移除 change_sensor_mode_to_reschedule (#48649)更新 Celery 库的最低版本到 5.5.0 (#43777)
3.10.4¶
错误修复¶
当使用任务 SDK 的执行器传递 'executor_config' 时，调度器不应崩溃 (#47548)
其他¶
AIP-81: 扁平化核心 CLI 命令 (#48224)
3.10.3¶
错误修复¶
避免 CeleryExecutor 传递 executor_config 时调度器崩溃 (#47375)错误修复: 无法为 Airflow v2 导入名称 'workloads' (#47152)
其他¶
移除 google-re2 依赖 (#47493)移除旧的 'task run' 命令和 LocalTaskJob (#47453)禁用从 Tasks, DAG processing 和 Triggers 的 ORM 访问 (#47320)实现过时 dag bundle 的清理 (#46503)在新 UI 中渲染结构化日志而不是显示原始 JSON (#46827)将 execution_api_server_url 配置移至核心部分 (#46969)将 flit 升级到 3.11.0 (#46938)
3.10.2¶
注意
此版本无代码更改。发布此版本是因为之前的版本因打包问题被撤回。
3.10.1¶
错误修复¶
修复 Local & Celery 执行器中的日志拼写错误 (#46866)
其他¶
重构 TriggererJobRunner 使其在无需数据库访问的进程中运行触发器 (#46677)AIP-66: 使 DAG 回调感知 bundle (#45860)将 CeleryExecutor 切换为使用 TaskSDK 进行执行。 (#46265)从 CeleryExecutor CLI 中移除 2.8 版本检查 (#46910)
3.10.0¶
新特性¶
添加对自定义 celery 配置的支持 (#45038)
错误修复¶
修复 Celery 提供程序中 CLI 导入的版本检查 (#45255)
其他¶
AIP-72: 在 Task SDK 中支持 DAG 解析上下文 (#45694)AIP-72: 在 SDK 中支持更好的 Context 字典类型提示 (#45583)
3.9.0¶
注意
此提供程序版本仅适用于 Airflow 2.9+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
将提供程序中的最低 Airflow 版本提升到 Airflow 2.9.0 (#44956)AIP-81 将 CLI 命令按照 Hybrid, Local 和 Remote 移动到相应目录 (#44538)从代码中移除 AIP-44 配置 (#44454)
3.8.5¶
错误修复¶
当任务卡在 queued 状态时重新入队 (#43520)
3.8.4¶
其他¶
AIP-72: 移除 DAG pickling (#43667)将 python operator 移动到 Standard 提供程序 (#42081)
3.8.3¶
错误修复¶
所有执行器都应继承自 BaseExecutor (#41904)移除 celery 任务处理过程中的状态同步 (#41870)
其他¶
更改导入以使用 Standard 提供程序处理 BashOperator (#42252)
3.8.2¶
其他¶
从提供程序中移除已弃用的 soft_fail (#41710)
3.8.1¶
错误修复¶
修复: 'CeleryKubernetesExecutor' 和 'LocalKubernetesExecutor' 中缺失 'slots_occupied' (#41602)
3.8.0¶
注意
此提供程序版本仅适用于 Airflow 2.8+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
将提供程序中的最低 Airflow 版本提升到 Airflow 2.8.0 (#41396)移除已弃用的 SubDags (#41390)
3.7.3¶
错误修复¶
将 broker 的可见性超时增加到 24 小时 (#40879)
3.7.2¶
错误修复¶
修复异常类型以包含 TypeError，这是在 (#40012) 中引发的类型如果在 _execute_in_fork 的 finally 块中发生异常，捕获 sentry flush (#40060)
其他¶
向 _execute_in_fork 日志添加 PID 和返回码 (#40058)
3.7.1¶
其他¶
加快 'airflow_version' 导入速度 (#39552)简化 'airflow_version' 导入 (#39497)ECS 执行器: 一旦激活，将任务设置为 RUNNING 状态 (#39212)移除 2.7.0 的兼容性代码 - 它现在是 Airflow 的最低版本 (#39591)其他: 添加关于移除未使用代码的注释 (#39748)
3.7.0¶
注意
此提供程序版本仅适用于 Airflow 2.7+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
将提供程序中的最低 Airflow 版本提升到 Airflow 2.7.0 (#39240)
3.6.2¶
错误修复¶
确保在装饰器上下文管理器中调用 __exit__ (#38383)使用内部 api 时不要释放 sqlalchemy 引擎 (#38562)对于 Airflow < 2.8.0，使用来自 Airflow 包的 celery worker CLI (#38879)
其他¶
允许使用 'redis'>=5 (#38385)AirflowOptionalProviderFeatureException 的重新抛出应直接进行 (#38555)
3.6.1¶
错误修复¶
从 celery 选项中移除 pid 参数以修复重复 pid 问题，将 celery 命令移动到提供程序包 (#36794)将 AirflowTaskTimeout 更改为继承 BaseException (#35653)
其他¶
将执行器文档迁移到相应的提供程序 (#37728)
3.6.0¶
新特性¶
向 Celery Executor 添加 'task_acks_late' 配置 (#37066)
其他¶
改进信息以防止 celery 命令自动扩缩配置错误 (#36576)
3.5.2¶
错误修复¶
修复 warnings.warn 在提供程序中的堆栈级别 (#36831)
3.5.1¶
错误修复¶
修复从 ENV 加载 'sentinel_kwargs' (#36318)
3.5.0¶
注意
此提供程序版本仅适用于 Airflow 2.6+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
将提供程序中的最低 Airflow 版本提升到 Airflow 2.6.0 (#36017)
3.4.1¶
错误修复¶
修复 _SECRET 和 _CMD broker 配置 (#34782)从 Celery 执行器警告中移除敏感信息 (#34954)
3.4.0¶
注意
此提供程序版本仅适用于 Airflow 2.5+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
提升提供程序的最低 airflow 版本 (#34728)当 celery sensors 发生异常时，尊重 soft_fail 参数 (#34474)
3.3.4¶
错误修复¶
修复 celery 执行器中 update_task_state 的条件 (#34192)
其他¶
合并提供程序中相似的 if 逻辑 (#33987)限制 celery，排除 5.3.2 和 5.3.3 版本 (#34031)在提供程序中用 contextlib.suppress 替换 try - except pass (#33980)通过将部分导入放入类型检查块中，改进 Airflow 提供程序中的模块导入 (#33754)
3.3.3¶
错误修复¶
修复 Python 3.8 下 celery 和 opentelemetry 的依赖问题 (#33579)
其他¶
使 auth managers 提供自己的 airflow CLI 命令 (#33481)将 Sqlalchemy 查询重构为 2.0 风格 (Part 7) (#32883)
3.3.2¶
其他¶
为 cncf.kubernetes 和 celery 提供程序添加缺失的 re2 依赖 (#33237)在 Airflow 执行器中用 TaskInstanceState 替换 State (#32627)
3.3.1¶
其他¶
添加从执行器生成 CLI 命令的文档 (#33081)移除 Python2 数字遗迹 (#33050)
3.3.0¶
注意
此提供程序版本是将 Celery Executor 和 Celery Kubernetes Executor 从核心 apache-airflow 包迁移到 Celery 提供程序包的第一个版本。它还需要安装 7.4.0+ 版本的 apache-airflow-providers-cncf-kubernetes 才能使用 CeleryKubernetesExecutor。您可以使用 pip install apache-airflow-providers-celery[cncf.kubernetes] 安装带有 cncf.kubernetes 附加功能的提供程序，以确保安装正确版本的 cncf.kubernetes 提供程序。
新特性¶
将 CeleryExecutor 移动到 celery 提供程序 (#32526)为旧版本提供程序添加 Airflow 2.7 之前的硬编码默认配置 (#32775)[AIP-51] 执行器提供 CLI 命令 (#29055)
其他¶
将所有 k8S 类移动到 cncf.kubernetes 提供程序 (#32767)添加执行器发现和文档 (#32532)将 default_celery.py 移动到提供程序内部 (#32628)在执行器的 CLI 提供中抛出原始导入错误 (#32931)
3.2.1¶
注意
此版本放弃了对 Python 3.7 的支持
其他¶
添加关于提供程序放弃 Python 3.7 支持的说明 (#32015)
3.2.0¶
注意
此提供程序版本仅适用于 Airflow 2.4+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
提升提供程序中的最低 Airflow 版本 (#30917)
3.1.0¶
注意
此提供程序版本仅适用于 Airflow 2.3+，如 Apache Airflow 提供程序支持策略 中所述。
其他¶
将所有提供程序的最低 airflow 版本移至 2.3.0 (#27196)
3.0.0¶
破坏性更改¶
注意
此提供程序版本仅适用于 Airflow 2.2+，如 Apache Airflow 提供程序支持策略 中所述。
2.1.4¶
其他¶
更新我们处理执行器绑定依赖的方法 (#22573)
2.1.3¶
错误修复¶
修复为所有提供程序错误添加的 install_requires (#22382)
2.1.2¶
其他¶
在 PyPI 中添加 Trove 分类器 (Framework :: Apache Airflow :: Provider)
2.1.1¶
其他¶
支持 Python 3.10
2.1.0¶
新特性¶
由于 airflow 2.2.0 更改了 Celery 版本， celery 提供程序已转换为与 Celery 5 一起工作
2.0.0¶
破坏性更改¶
自动应用 apply_default 装饰器 (#15667)
警告
由于移除了 apply_default 装饰器，此版本的 provider 需要 Airflow 2.1.0+。如果你的 Airflow 版本低于 2.1.0，并且你想安装此 provider 版本，请先将 Airflow 升级到至少 2.1.0 版本。否则，你的 Airflow 包版本将自动升级，并且你必须手动运行 airflow upgrade db 来完成迁移。
1.0.1¶
更新了文档和 readme 文件。
1.0.0¶
provider 的初始版本。