apache-airflow-providers-celery

更新日志

3.9.0

注意

Apache Airflow 提供程序支持策略 中所述,此提供程序版本仅适用于 Airflow 2.9+。

其他

  • 提供程序中 Airflow 最低 版本 提升 Airflow 2.9.0 (#44956)

  • AIP-81 CLI 命令 移动 根据 混合、本地和远程 分类的 目录中 (#44538)

  • 从代码中 删除 AIP-44 配置 (#44454)

3.8.5

Bug 修复

  • 任务 卡在 排队 状态时 重新排队 (#43520)

3.8.4

其他

  • AIP-72: 删除 DAG 序列化 (#43667)

  • Python 操作符 移动 标准 提供程序 (#42081)

3.8.3

Bug 修复

  • 所有 执行器 都应 继承自 BaseExecutor (#41904)

  • Celery 任务 处理期间 删除 状态同步 (#41870)

其他

  • 更改 导入 使用 标准 提供程序 BashOperator (#42252)

3.8.2

其他

  • 提供程序中 删除 已弃用的 soft_fail (#41710)

3.8.1

Bug 修复

  • 修复: 'CeleryKubernetesExecutor' 'LocalKubernetesExecutor' 中缺少 'slots_occupied' (#41602)

3.8.0

注意

Apache Airflow 提供程序支持策略 中所述,此提供程序版本仅适用于 Airflow 2.8+。

其他

  • 提供程序中 Airflow 最低 版本 提升 Airflow 2.8.0 (#41396)

  • 删除 已弃用的 SubDags (#41390)

3.7.3

Bug 修复

  • Broker 可见性超时 增加 24 小时 (#40879)

3.7.2

Bug 修复

  • 修复 异常类型 以包含 TypeError, (#40012) 中引发的类型

  • 如果 _execute_in_fork finally 块中 发生 异常 则捕获 sentry 刷新 (#40060)

其他

  • PID 返回代码 添加到 _execute_in_fork 日志记录中 (#40058)

3.7.1

其他

  • 更快的 'airflow_version' 导入 (#39552)

  • 简化 'airflow_version' 导入 (#39497)

  • ECS 执行器: 任务 设置为 RUNNING 状态, 一旦激活 (#39212)

  • 删除 2.7.0 兼容性 代码 - 现在 最低 Airflow 版本 (#39591)

  • 其他: 添加 关于 删除 未使用的代码 注释 (#39748)

3.7.0

注意

Apache Airflow 提供程序支持策略 中所述,此提供程序版本仅适用于 Airflow 2.7+。

其他

  • 提供程序中 Airflow 最低 版本 提升 Airflow 2.7.0 (#39240)

3.6.2

Bug 修复

  • 确保 装饰器上下文管理器中 调用 __exit__ (#38383)

  • 使用 内部 API 时, 不要 处置 sqlalchemy 引擎 (#38562)

  • 对于 Airflow < 2.8.0, 使用 Airflow 中的 Celery worker CLI (#38879)

其他

  • 允许 使用 'redis'>=5 (#38385)

  • AirflowOptionalProviderFeatureException 的重新引发 应为直接的 (#38555)

3.6.1

Bug 修复

  • celery 选项中 删除 pid 参数 以修复 重复 pid 问题, celery 命令 移动 提供程序 (#36794)

  • AirflowTaskTimeout 更改为 继承 BaseException (#35653)

其他

  • 执行器 文档 迁移 到各自的 提供程序 (#37728)

3.6.0

功能

  • 'task_acks_late' 配置 添加到 Celery 执行器 (#37066)

其他

  • 改进 信息 防止 Celery 命令 自动缩放 配置错误 (#36576)

3.5.2

Bug 修复

  • 修复 providers warnings.warn stacklevel (#36831)

3.5.1

Bug 修复

  • 修复 ENV 加载 'sentinel_kwargs' (#36318)

3.5.0

注意

Apache Airflow providers 支持策略 中所述,此提供程序版本仅适用于 Airflow 2.6+。

其他

  • providers 最低 Airflow 版本 提升至 Airflow 2.6.0 (#36017)

3.4.1

Bug 修复

  • 修复 _SECRET _CMD 代理 配置 (#34782)

  • Celery 执行器 警告中 删除 敏感信息 (#34954)

3.4.0

注意

Apache Airflow providers 支持策略 中所述,此提供程序版本仅适用于 Airflow 2.5+。

其他

  • 提升 providers 最低 airflow 版本 (#34728)

  • celery 传感器 引发 异常时 ,遵循 soft_fail 参数 (#34474)

3.3.4

Bug 修复

  • 修复 celery 执行器中 update_task_state 条件 (#34192)

其他

  • 合并 providers 相似的 if 逻辑 (#33987)

  • 通过 排除 5.3.2 5.3.3 来限制 celery (#34031)

  • providers try - except pass 替换为 contextlib.suppress (#33980)

  • 通过 某些 模块放入 类型检查块 ,改进 Airflow providers 中的 模块导入 (#33754)

3.3.3

Bug 修复

  • 修复 Python 3.8 celery opentelemetry 的依赖项 (#33579)

其他

  • 使 身份验证管理器 提供其自己的 airflow CLI 命令 (#33481)

  • Sqlalchemy 查询重构为 2.0 样式 (第 7 部分) (#32883)

3.3.2

其他

  • cncf.kubernetes celery providers 添加缺少的 re2 依赖项 (#33237)

  • Airflow 执行器中 State 替换为 TaskInstanceState (#32627)

3.3.1

其他

  • 执行器中的 CLI 命令添加 文档生成 (#33081)

  • 去除 Python2 数值遗留 (#33050)

3.3.0

注意

此提供程序版本是将 Celery 执行器和 Celery Kubernetes 执行器从核心 apache-airflow 包移动到 Celery 提供程序包的第一个版本。它还期望安装了 7.4.0+ 版本的 apache-airflow-providers-cncf-kubernetes 才能使用 CeleryKubernetesExecutor。 您可以使用 pip install apache-airflow-providers-celery[cncf.kubernetes] 安装带有 cncf.kubernetes 额外功能的提供程序,以获得正确版本的 cncf.kubernetes 提供程序安装。

特性

  • CeleryExecutor 移动到 celery 提供程序 (#32526)

  • 旧的 providers 添加 pre-Airflow-2-7 硬编码的 config 默认值 (#32775)

  • [AIP-51] 执行器 提供 CLI 命令 (#29055)

其他

  • 所有 k8S 类移动到 cncf.kubernetes 提供程序 (#32767)

  • 添加 执行器发现和文档 (#32532)

  • default_celery.py 移动到 提供程序内部 (#32628)

  • 执行器的 CLI 提供中 引发原始导入错误 (#32931)

3.2.1

注意

此版本已放弃对 Python 3.7 的支持

其他

  • 添加关于 providers 放弃 Python 3.7 的说明 (#32015)

3.2.0

注意

Apache Airflow providers 支持策略 中所述,此提供程序版本仅适用于 Airflow 2.4+。

其他

  • 提升 providers 最低 Airflow 版本 (#30917)

3.1.0

注意

Apache Airflow providers 支持策略 中所述,此提供程序版本仅适用于 Airflow 2.3+。

其他

  • 所有 providers 最低 airflow 版本 移动到 2.3.0 (#27196)

3.0.0

重大更改

注意

Apache Airflow providers 支持策略 中所述,此提供程序版本仅适用于 Airflow 2.2+。

2.1.4

其他

  • 更新 我们 执行器绑定依赖项 的方法 (#22573)

2.1.3

Bug 修复

  • 修复 为所有 providers 错误添加的 install_requires (#22382)

2.1.2

其他

  • PyPI 中添加 Trove 分类器 (框架 :: Apache Airflow :: Provider)

2.1.1

其他

  • 支持 Python 3.10

2.1.0

特性

  • 按照 airflow 2.2.0 Celery 版本的更改 ,celery 提供程序已转换为使用 Celery 5

2.0.0

重大更改

  • 自动应用 apply_default 装饰器 (#15667)

警告

由于移除了 apply_default 装饰器,此版本的提供程序需要 Airflow 2.1.0 或更高版本。如果您的 Airflow 版本低于 2.1.0,并且您想安装此提供程序版本,请先将 Airflow 升级到至少 2.1.0 版本。否则,您的 Airflow 包版本将自动升级,您必须手动运行 airflow upgrade db 来完成迁移。

1.0.1

更新了文档和自述文件。

1.0.0

提供程序的初始版本。

此条目是否有帮助?