Celery 执行器命令

注意

以下 CLI 命令由 Airflow 2.7.0+ 的 provider 使用。之前它们是 Core Airflow 的一部分,因此如果您使用的 Airflow 版本低于 2.7.0,请查阅 Core Airflow 文档以获取可用的 CLI 命令和参数列表。

Usage: airflow [-h] GROUP_OR_COMMAND ...

位置参数

GROUP_OR_COMMAND

可能的选项:celery

子命令

celery

启动 celery 组件。仅在使用 CeleryExecutor 时有效。更多信息请参见 https://airflow.org.cn/docs/apache-airflow-providers-celery/stable/celery_executor.html

airflow celery [-h] COMMAND ...

位置参数

COMMAND

可能的选项:add-queue, flower, list-workers, remove-all-queues, remove-queue, shutdown-all-workers, shutdown-worker, stop, worker

子命令

add-queue

将 Celery 工作节点订阅到指定队列

airflow celery add-queue [-h] -H CELERY_HOSTNAME -q QUEUES
命名参数
-H, --celery-hostname

指定完整的 celery 主机名。示例: celery@hostname

-q, --queues

以逗号分隔的待服务队列列表

flower

启动 Celery Flower

airflow celery flower [-h] [-A BASIC_AUTH] [-a BROKER_API] [-D] [-c FLOWER_CONF] [-H HOSTNAME] [-l LOG_FILE] [--pid [PID]] [-p PORT] [--stderr STDERR] [--stdout STDOUT] [-u URL_PREFIX] [-v]
命名参数
-A, --basic-auth

使用 Basic Authentication 对 Flower 进行安全保护。接受使用逗号分隔的 user:password 组合。例如:flower_basic_auth = user1:password1,user2:password2

默认: ''

-a, --broker-api

Broker API

-D, --daemon

以守护进程方式运行,而不是前台运行

默认值: False

-c, --flower-conf

Flower 的配置文件

-H, --hostname

设置运行服务器的主机名

默认: '0.0.0.0'

-l, --log-file

日志文件的位置

--pid

PID 文件位置

-p, --port

运行服务器的端口

默认: 5555

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-u, --url-prefix

Flower 的 URL 前缀

默认: ''

-v, --verbose

让日志输出更详细

默认值: False

list-workers

列出活动的 celery 工作节点

airflow celery list-workers [-h] [-o (table, json, yaml, plain)]
命名参数
-o, --output

可能的选项:table, json, yaml, plain

输出格式。允许的值:json、yaml、plain、table(默认:table)

默认: 'table'

remove-all-queues

将 Celery 工作节点从其所有活动队列中取消订阅

airflow celery remove-all-queues [-h] -H CELERY_HOSTNAME
命名参数
-H, --celery-hostname

指定完整的 celery 主机名。示例: celery@hostname

remove-queue

将 Celery 工作节点从指定的队列中取消订阅

airflow celery remove-queue [-h] -H CELERY_HOSTNAME -q QUEUES
命名参数
-H, --celery-hostname

指定完整的 celery 主机名。示例: celery@hostname

-q, --queues

以逗号分隔的待服务队列列表

shutdown-all-workers

请求对所有活动的 celery 工作节点进行优雅关闭

airflow celery shutdown-all-workers [-h] [-y]
命名参数
-y, --yes

不提示确认。使用时请谨慎!

默认值: False

shutdown-worker

请求对 celery 工作节点进行优雅关闭

airflow celery shutdown-worker [-h] -H CELERY_HOSTNAME
命名参数
-H, --celery-hostname

指定完整的 celery 主机名。示例: celery@hostname

stop

优雅地停止 Celery 工作节点

airflow celery stop [-h] [--pid [PID]] [-v]
命名参数
--pid

PID 文件位置

-v, --verbose

让日志输出更详细

默认值: False

worker

启动一个 Celery 工作节点

airflow celery worker [-h] [-a AUTOSCALE] [-H CELERY_HOSTNAME] [-c CONCURRENCY] [-D] [-l LOG_FILE] [--pid [PID]] [-q QUEUES] [-s] [--stderr STDERR] [--stdout STDOUT] [-t TEAM] [-u UMASK] [-v]
                      [--without-gossip] [--without-mingle]
命名参数
-a, --autoscale

自动伸缩的最小和最大工作节点数量

-H, --celery-hostname

如果在单台机器上有多个工作节点,请设置 celery 工作节点的主机名

-c, --concurrency

工作进程的数量

默认: 16

-D, --daemon

以守护进程方式运行,而不是前台运行

默认值: False

-l, --log-file

日志文件的位置

--pid

PID 文件位置

-q, --queues

以逗号分隔的待服务队列列表

默认: 'default'

-s, --skip-serve-logs

不要在工作节点启动时同时启动 serve logs 进程

默认值: False

--stderr

将 stderr 重定向到此文件

--stdout

将 stdout 重定向到此文件

-t, --team

团队名称,用于特定团队的多团队配置(需 Airflow 3.2+)

-u, --umask

在守护进程模式下设置 celery 工作节点的 umask

-v, --verbose

让日志输出更详细

默认值: False

--without-gossip

不要订阅其他工作节点的事件

默认值: False

--without-mingle

启动时不与其他工作节点同步

默认值: False

此条目是否有帮助?