CeleryKubernetes 执行器

注意

自 Airflow 2.7.0 起，您需要安装 celery 和 cncf.kubernetes 提供程序包才能使用此执行器。这可以通过安装 apache-airflow-providers-celery>=3.3.0 和 apache-airflow-providers-cncf-kubernetes>=7.4.0 或通过安装带有 celery 和 cncf.kubernetes 额外功能的 Airflow 来完成：pip install 'apache-airflow[celery,cncf.kubernetes]'。

CeleryKubernetesExecutor 允许用户同时运行 CeleryExecutor 和 KubernetesExecutor。选择哪个执行器来运行任务取决于任务的队列。

CeleryKubernetesExecutor 继承了 CeleryExecutor 的可扩展性，以处理高峰时期的高负载，以及 KubernetesExecutor 的运行时隔离。

Celery 执行器的配置参数可以在 Celery 提供程序的 配置参考 中找到。

何时使用 CeleryKubernetesExecutor

只有在某些情况下才应使用 CeleryKubernetesExecutor，因为它需要设置 CeleryExecutor 和 KubernetesExecutor。

当您的用例满足以下条件时，我们建议考虑使用 CeleryKubernetesExecutor

  1. 需要在高峰期调度的任务数量超过了您的 Kubernetes 集群可以轻松处理的规模

  2. 相对较小一部分任务需要运行时隔离。

  3. 您有很多可以在 Celery 工作节点上执行的小任务，但您也有资源密集型任务，最好在预定义的环境中运行。

此条目是否有帮助？