Celery 执行器命令¶
注意
以下 CLI 命令由 Airflow 2.7.0+ 的 provider 使用。之前它们是 Core Airflow 的一部分,因此如果您使用的 Airflow 版本低于 2.7.0,请查阅 Core Airflow 文档以获取可用的 CLI 命令和参数列表。
Usage: airflow [-h] GROUP_OR_COMMAND ...
位置参数¶
- GROUP_OR_COMMAND
可能的选项:celery
子命令¶
celery¶
启动 celery 组件。仅在使用 CeleryExecutor 时有效。更多信息请参见 https://airflow.org.cn/docs/apache-airflow-providers-celery/stable/celery_executor.html
airflow celery [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:add-queue, flower, list-workers, remove-all-queues, remove-queue, shutdown-all-workers, shutdown-worker, stop, worker
子命令¶
add-queue¶
将 Celery 工作节点订阅到指定队列
airflow celery add-queue [-h] -H CELERY_HOSTNAME -q QUEUES
命名参数¶
- -H, --celery-hostname
指定完整的 celery 主机名。示例: celery@hostname
- -q, --queues
以逗号分隔的待服务队列列表
flower¶
启动 Celery Flower
airflow celery flower [-h] [-A BASIC_AUTH] [-a BROKER_API] [-D] [-c FLOWER_CONF] [-H HOSTNAME] [-l LOG_FILE] [--pid [PID]] [-p PORT] [--stderr STDERR] [--stdout STDOUT] [-u URL_PREFIX] [-v]
命名参数¶
- -A, --basic-auth
使用 Basic Authentication 对 Flower 进行安全保护。接受使用逗号分隔的 user:password 组合。例如:flower_basic_auth = user1:password1,user2:password2
默认:
''- -a, --broker-api
Broker API
- -D, --daemon
以守护进程方式运行,而不是前台运行
默认值:
False- -c, --flower-conf
Flower 的配置文件
- -H, --hostname
设置运行服务器的主机名
默认:
'0.0.0.0'- -l, --log-file
日志文件的位置
- --pid
PID 文件位置
- -p, --port
运行服务器的端口
默认:
5555- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -u, --url-prefix
Flower 的 URL 前缀
默认:
''- -v, --verbose
让日志输出更详细
默认值:
False
list-workers¶
列出活动的 celery 工作节点
airflow celery list-workers [-h] [-o (table, json, yaml, plain)]
命名参数¶
- -o, --output
可能的选项:table, json, yaml, plain
输出格式。允许的值:json、yaml、plain、table(默认:table)
默认:
'table'
remove-all-queues¶
将 Celery 工作节点从其所有活动队列中取消订阅
airflow celery remove-all-queues [-h] -H CELERY_HOSTNAME
命名参数¶
- -H, --celery-hostname
指定完整的 celery 主机名。示例: celery@hostname
remove-queue¶
将 Celery 工作节点从指定的队列中取消订阅
airflow celery remove-queue [-h] -H CELERY_HOSTNAME -q QUEUES
命名参数¶
- -H, --celery-hostname
指定完整的 celery 主机名。示例: celery@hostname
- -q, --queues
以逗号分隔的待服务队列列表
shutdown-all-workers¶
请求对所有活动的 celery 工作节点进行优雅关闭
airflow celery shutdown-all-workers [-h] [-y]
命名参数¶
- -y, --yes
不提示确认。使用时请谨慎!
默认值:
False
shutdown-worker¶
请求对 celery 工作节点进行优雅关闭
airflow celery shutdown-worker [-h] -H CELERY_HOSTNAME
命名参数¶
- -H, --celery-hostname
指定完整的 celery 主机名。示例: celery@hostname
stop¶
优雅地停止 Celery 工作节点
airflow celery stop [-h] [--pid [PID]] [-v]
命名参数¶
- --pid
PID 文件位置
- -v, --verbose
让日志输出更详细
默认值:
False
worker¶
启动一个 Celery 工作节点
airflow celery worker [-h] [-a AUTOSCALE] [-H CELERY_HOSTNAME] [-c CONCURRENCY] [-D] [-l LOG_FILE] [--pid [PID]] [-q QUEUES] [-s] [--stderr STDERR] [--stdout STDOUT] [-t TEAM] [-u UMASK] [-v]
[--without-gossip] [--without-mingle]
命名参数¶
- -a, --autoscale
自动伸缩的最小和最大工作节点数量
- -H, --celery-hostname
如果在单台机器上有多个工作节点,请设置 celery 工作节点的主机名
- -c, --concurrency
工作进程的数量
默认:
16- -D, --daemon
以守护进程方式运行,而不是前台运行
默认值:
False- -l, --log-file
日志文件的位置
- --pid
PID 文件位置
- -q, --queues
以逗号分隔的待服务队列列表
默认:
'default'- -s, --skip-serve-logs
不要在工作节点启动时同时启动 serve logs 进程
默认值:
False- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -t, --team
团队名称,用于特定团队的多团队配置(需 Airflow 3.2+)
- -u, --umask
在守护进程模式下设置 celery 工作节点的 umask
- -v, --verbose
让日志输出更详细
默认值:
False- --without-gossip
不要订阅其他工作节点的事件
默认值:
False- --without-mingle
启动时不与其他工作节点同步
默认值:
False