CeleryKubernetes 执行器

注意

从 Airflow 2.7.0 开始，您需要同时安装 celery 和 cncf.kubernetes provider 包才能使用此执行器。这可以通过安装 apache-airflow-providers-celery>=3.3.0 和 apache-airflow-providers-cncf-kubernetes>=7.4.0 来完成，或者通过使用 celery 和 cncf.kubernetes extras 安装 Airflow：pip install 'apache-airflow[celery,cncf.kubernetes]'。

CeleryKubernetesExecutor 允许用户同时运行 CeleryExecutor 和 KubernetesExecutor。基于任务的队列选择执行器来运行任务。

CeleryKubernetesExecutor 继承了 CeleryExecutor 的可伸缩性，可以在高峰时段处理高负载，并继承了 KubernetesExecutor 的运行时隔离特性。

Celery 执行器的配置参数可在 Celery provider 的 配置参考 中找到。

何时使用 CeleryKubernetesExecutor

CeleryKubernetesExecutor 仅应在特定情况下使用，因为它需要同时设置 CeleryExecutor 和 KubernetesExecutor。

当您的用例满足以下条件时，我们建议考虑使用 CeleryKubernetesExecutor。

  1. 高峰时段需要调度的任务数量超出了您的 Kubernetes 集群能够轻松处理的规模。

  2. 您的任务中相对较小的一部分需要运行时隔离。

  3. 您有大量可以在 Celery worker 上执行的小任务，但也有一些资源密集型任务，更适合在预定义环境中运行。

本条目有帮助吗？