命令行界面和环境变量参考¶
命令行界面¶
Airflow 拥有非常丰富的命令行界面,支持对 DAG 进行多种操作、启动服务以及支持开发和测试。
注意
有关 CLI 用法的更多信息,请参阅 使用命令行界面
实现执行器的提供程序可能会为 CLI 贡献额外的命令。以下是社区提供程序贡献的命令:
Celery 执行器及相关 CLI 命令: Celery 执行器命令
Kubernetes 执行器及相关 CLI 命令: Kubernetes 执行器命令
Edge 执行器及相关 CLI 命令: Edge 执行器命令
AWS 及相关 CLI 命令: Amazon CLI 命令
users
和roles
CLI 命令在 FAB 提供程序文档中描述: FAB CLI 命令
Usage: airflow [-h] GROUP_OR_COMMAND ...
位置参数¶
- GROUP_OR_COMMAND
可选项: api-server, assets, backfill, cheat-sheet, config, connections, dag-processor, dags, db, info, jobs, kerberos, plugins, pools, providers, rotate-fernet-key, scheduler, standalone, tasks, triggerer, variables, version
子命令¶
api-server¶
启动一个 Airflow API 服务器实例
airflow api-server [-h] [-A ACCESS_LOGFILE] [--apps APPS] [-D] [-d] [-H HOST]
[-l LOG_FILE] [--pid [PID]] [-p PORT] [--proxy-headers]
[--ssl-cert SSL_CERT] [--ssl-key SSL_KEY] [--stderr STDERR]
[--stdout STDOUT] [-t WORKER_TIMEOUT] [-w WORKERS]
命名参数¶
- -A, --access-logfile
存储访问日志的日志文件。使用“-”输出到 stdout
默认值:“-”
- --apps
要运行的应用(逗号分隔)。默认是全部。选项:core, execution, all
默认值:“all”
- -D, --daemon
作为守护进程运行而不是在前台运行
默认值:False
- -d, --dev
以开发模式启动 FastAPI
默认值:False
- -H, --host
设置运行 API 服务器的主机
默认值:“0.0.0.0”
- -l, --log-file
日志文件位置
- --pid
PID 文件位置
- -p, --port
运行 API 服务器的端口
默认值:8080
- --proxy-headers
启用 X-Forwarded-Proto, X-Forwarded-For, X-Forwarded-Port 以填充远程地址信息。
默认值:False
- --ssl-cert
Web 服务器的 SSL 证书路径
默认值:“”
- --ssl-key
用于 SSL 证书的密钥路径
默认值:“”
- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -t, --worker-timeout
等待 API 服务器工作进程的超时时间
默认值:120
- -w, --workers
在 API 服务器上运行的工作进程数
默认值:4
assets¶
管理资产
airflow assets [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: details, list, materialize
子命令¶
details¶
显示资产详情
airflow assets details [-h] [--alias] [--name NAME]
[-o table, json, yaml, plain] [--uri URI] [-v]
命名参数¶
- --alias
显示资产别名
默认值:False
- --name
资产名称
默认值:“”
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- --uri
资产 URI
默认值:“”
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出资产
airflow assets list [-h] [--alias] [--columns COLUMNS]
[-o table, json, yaml, plain] [-v]
命名参数¶
- --alias
显示资产别名
默认值:False
- --columns
要渲染的列列表。(默认值: ['dag_id', 'fileloc', 'owner', 'is_paused'])
默认值:(‘name’, ‘uri’, ‘group’, ‘extra’)
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
materialize¶
物化资产
airflow assets materialize [-h] [--name NAME] [-o table, json, yaml, plain]
[--uri URI] [-v]
命名参数¶
- --name
资产名称
默认值:“”
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- --uri
资产 URI
默认值:“”
- -v, --verbose
使日志输出更详细
默认值:False
backfill¶
管理回填
airflow backfill [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: create
子命令¶
create¶
对给定日期范围的 DAG 子部分进行回填。
airflow backfill create [-h] --dag-id DAG_ID [--dag-run-conf DAG_RUN_CONF]
[--dry-run] --from-date FROM_DATE
[--max-active-runs MAX_ACTIVE_RUNS]
[--reprocess-behavior {none,completed,failed}]
[--run-backwards] --to-date TO_DATE
命名参数¶
- --dag-id
要回填的 dag。
- --dag-run-conf
JSON 格式的 dag 运行配置。
- --dry-run
执行模拟运行
默认值:False
- --from-date
最早要回填的逻辑日期。
- --max-active-runs
此回填的最大活动运行数。
- --reprocess-behavior
可选项: none, completed, failed
当逻辑日期存在运行时,控制是否为该日期创建新的运行。默认值为 none。
- --run-backwards
如果设置,回填将首先运行最新逻辑日期对应的任务。如果存在 depend_on_past 的任务,则不支持此选项。
默认值:False
- --to-date
最晚要回填的逻辑日期
cheat-sheet¶
显示速查表
airflow cheat-sheet [-h] [-v]
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
config¶
查看配置
airflow config [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: get-value, lint, list, update
子命令¶
get-value¶
打印配置的值
airflow config get-value [-h] [-v] section option
位置参数¶
- section
节名称
- option
选项名称
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
lint¶
在从 Airflow 2.x 迁移到 Airflow 3.0 时,对配置更改进行 lint 检查
airflow config lint [-h] [--ignore-option IGNORE_OPTION]
[--ignore-section IGNORE_SECTION] [--option OPTION]
[--section SECTION] [-v]
命名参数¶
- --ignore-option
在 airflow 配置中 lint 检查时要忽略的选项名称。
- --ignore-section
在 airflow 配置中 lint 检查时要忽略的节名称。
- --option
在 airflow 配置中要 lint 检查的选项名称。
- --section
在 airflow 配置中要 lint 检查的节名称。
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出配置的选项
airflow config list [-h] [--color {on,off,auto}] [-c] [-a] [-p] [-d] [-V] [-e]
[-s] [--section SECTION] [-v]
命名参数¶
- --color
可选项: on, off, auto
是否输出带颜色的内容 (默认值: auto)
默认值:“auto”
- -c, --comment-out-everything
注释掉所有配置选项。对于新的安装来说很有用,可以作为起点。
默认值:False
- -a, --defaults
只显示默认值 - 不包含本地配置、来源、描述、示例、变量。注释掉所有内容。
默认值:False
- -p, --exclude-providers
排除提供程序配置(默认包含)
默认值:False
- -d, --include-descriptions
显示配置变量的描述
默认值:False
- -V, --include-env-vars
显示每个选项对应的环境变量
默认值:False
- -e, --include-examples
显示配置变量的示例
默认值:False
- -s, --include-sources
显示配置变量的来源
默认值:False
- --section
节名称
- -v, --verbose
使日志输出更详细
默认值:False
update¶
在从 Airflow 2.x 迁移到 Airflow 3.0 时,更新配置更改的选项
airflow config update [-h] [--all-recommendations] [--fix]
[--ignore-option IGNORE_OPTION]
[--ignore-section IGNORE_SECTION] [--option OPTION]
[--section SECTION] [-v]
命名参数¶
- --all-recommendations
包含非破坏性(建议)更改以及破坏性更改。(也可与 –fix 一起使用)
默认值:False
- --fix
自动应用配置更改,而不是执行模拟运行。(默认值: 模拟运行模式)
默认值:False
- --ignore-option
在 airflow 配置中更新时要忽略的选项名称。
- --ignore-section
在 airflow 配置中更新时要忽略的节名称。
- --option
在 airflow 配置中要更新的选项名称。
- --section
在 airflow 配置中要更新的节名称。
- -v, --verbose
使日志输出更详细
默认值:False
connections¶
管理连接
airflow connections [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: add, create-default-connections, delete, export, get, import, list, test
子命令¶
add¶
添加连接
airflow connections add [-h] [--conn-description CONN_DESCRIPTION]
[--conn-extra CONN_EXTRA] [--conn-host CONN_HOST]
[--conn-json CONN_JSON] [--conn-login CONN_LOGIN]
[--conn-password CONN_PASSWORD]
[--conn-port CONN_PORT] [--conn-schema CONN_SCHEMA]
[--conn-type CONN_TYPE] [--conn-uri CONN_URI]
conn_id
位置参数¶
- conn_id
连接 ID,获取/添加/删除/测试连接时必需
命名参数¶
- --conn-description
连接描述,添加连接时可选
- --conn-extra
连接 Extra 字段,添加连接时可选
- --conn-host
连接主机,添加连接时可选
- --conn-json
连接 JSON,使用 JSON 表示添加连接时必需
- --conn-login
连接登录用户,添加连接时可选
- --conn-password
连接密码,添加连接时可选
- --conn-port
连接端口,添加连接时可选
- --conn-schema
连接 schema,添加连接时可选
- --conn-type
连接类型,添加连接时如果未使用 conn_uri 则必需
- --conn-uri
连接 URI,添加连接时如果未使用 conn_type 则必需
create-default-connections¶
创建所有提供程序的默认连接
airflow connections create-default-connections [-h] [-v]
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
delete¶
删除连接
airflow connections delete [-h] [--color {on,off,auto}] [-v] conn_id
位置参数¶
- conn_id
连接 ID,获取/添加/删除/测试连接时必需
命名参数¶
- --color
可选项: on, off, auto
是否输出带颜色的内容 (默认值: auto)
默认值:“auto”
- -v, --verbose
使日志输出更详细
默认值:False
export¶
可以使用以下命令将所有连接导出到 STDOUT:airflow connections export - 文件格式可以通过提供的文件扩展名确定。例如,以下命令将连接导出为 JSON 格式:airflow connections export /tmp/connections.json 参数 –file-format 可用于控制文件格式。例如,STDOUT 模式下的默认格式是 JSON,可以使用以下命令覆盖:airflow connections export - –file-format yaml 参数 –file-format 也可用于文件,例如:airflow connections export /tmp/connections –file-format json。当导出为 env 文件格式时,您可以通过使用选项 –serialization-format 并传入 uri 或 json 来控制使用 URI 格式还是 JSON 格式来序列化连接。
airflow connections export [-h] [--file-format {json,yaml,env}]
[--format {json,yaml,env}]
[--serialization-format {json,uri}] [-v]
file
位置参数¶
- file
导出连接的输出文件路径
命名参数¶
- --file-format
可选项: json, yaml, env
导出文件格式
- --format
可选项: json, yaml, env
已弃用 – 请改用 –file-format。导出时使用的文件格式。
- --serialization-format
可选项: json, uri
导出为 .env 格式时,定义连接应如何序列化。默认值为 uri。
- -v, --verbose
使日志输出更详细
默认值:False
get¶
获取连接
airflow connections get [-h] [--color {on,off,auto}]
[-o table, json, yaml, plain] [-v]
conn_id
位置参数¶
- conn_id
连接 ID,获取/添加/删除/测试连接时必需
命名参数¶
- --color
可选项: on, off, auto
是否输出带颜色的内容 (默认值: auto)
默认值:“auto”
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
import¶
可以从 export 命令的输出导入连接。文件类型必须是 json、yaml 或 env,并且将自动推断。
airflow connections import [-h] [--overwrite] [-v] file
位置参数¶
- file
从文件导入连接
命名参数¶
- --overwrite
如果发生冲突,则覆盖现有条目
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出连接
airflow connections list [-h] [--conn-id CONN_ID]
[-o table, json, yaml, plain] [-v]
命名参数¶
- --conn-id
如果传入,则只显示具有指定连接 ID 的项
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
test¶
测试连接
airflow connections test [-h] [-v] conn_id
位置参数¶
- conn_id
连接 ID,获取/添加/删除/测试连接时必需
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
dag-processor¶
启动一个 dag 处理器实例
airflow dag-processor [-h] [-B BUNDLE_NAME] [-D] [-l LOG_FILE] [-n NUM_RUNS]
[--pid [PID]] [--stderr STDERR] [--stdout STDOUT] [-v]
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -D, --daemon
作为守护进程运行而不是在前台运行
默认值:False
- -l, --log-file
日志文件位置
- -n, --num-runs
设置退出前要执行的运行次数
默认值:-1
- --pid
PID 文件位置
- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -v, --verbose
使日志输出更详细
默认值:False
dags¶
管理 DAGs
airflow dags [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: delete, details, list, list-import-errors, list-jobs, list-runs, next-execution, pause, report, reserialize, show, show-dependencies, state, test, trigger, unpause
子命令¶
delete¶
删除与指定 DAG 相关的所有数据库记录
airflow dags delete [-h] [-v] [-y] dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
details¶
获取给定 DAG ID 的 DAG 详情
airflow dags details [-h] [-o table, json, yaml, plain] [-v] dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出所有 DAGs
airflow dags list [-h] [-B BUNDLE_NAME] [--columns COLUMNS]
[-o table, json, yaml, plain] [-v]
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- --columns
要渲染的列列表。(默认值: ['dag_id', 'fileloc', '所有者', 'is_paused'])
默认值:(‘dag_id’, ‘fileloc’, ‘owners’, ‘is_paused’, ‘bundle_name’, ‘bundle_version’)
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
list-import-errors¶
列出所有存在导入错误的 DAGs
airflow dags list-import-errors [-h] [-B BUNDLE_NAME]
[-o table, json, yaml, plain] [-v]
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
list-jobs¶
列出作业
airflow dags list-jobs [-h] [-d DAG_ID] [--limit LIMIT]
[-o table, json, yaml, plain]
[--state running, success, restarting, failed] [-v]
命名参数¶
- -d, --dag-id
dag 的 ID
- --limit
返回有限数量的记录
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- --state
可选项: running, success, restarting, failed
只列出对应状态的作业
- -v, --verbose
使日志输出更详细
默认值:False
list-runs¶
列出给定 DAG ID 的 DAG 运行。如果给定 state 选项,则仅搜索具有给定状态的所有 dag 运行。如果给定 no_backfill 选项,则将过滤掉给定 dag ID 的所有回填 dag 运行。如果给定 start_date,则将过滤掉在此日期之前执行的所有 dag 运行。如果给定 end_date,则将过滤掉在此日期之后执行的所有 dag 运行。
airflow dags list-runs [-h] [-e END_DATE] [--no-backfill]
[-o table, json, yaml, plain] [-s START_DATE]
[--state queued, running, success, failed] [-v]
dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -e, --end-date
覆盖结束日期 YYYY-MM-DD
- --no-backfill
过滤掉给定 dag ID 的所有回填 dag 运行
默认值:False
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -s, --start-date
覆盖起始日期 YYYY-MM-DD
- --state
可选项: queued, running, success, failed
只列出对应状态的 DAG 运行
- -v, --verbose
使日志输出更详细
默认值:False
next-execution¶
获取 DAG 的下一个逻辑日期时间。除非给出 num-executions 选项,否则返回一次执行。
airflow dags next-execution [-h] [-n NUM_EXECUTIONS] [-v] dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -n, --num-executions
要显示的下一个逻辑日期时间数量
默认值:1
- -v, --verbose
使日志输出更详细
默认值:False
pause¶
暂停一个或多个 DAGs。此命令允许停止指定 DAGs 的执行,禁用进一步的任务调度。使用 –treat-dag-id-as-regex 将 –dag-id 视为正则表达式模式以定位多个 DAGs。
airflow dags pause [-h] [-o table, json, yaml, plain]
[--treat-dag-id-as-regex] [-v] [-y]
dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- --treat-dag-id-as-regex
如果设置,dag_id 将被视为正则表达式而不是精确字符串
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
report¶
显示 DagBag 加载报告
airflow dags report [-h] [-B BUNDLE_NAME] [-o table, json, yaml, plain] [-v]
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
reserialize¶
在元数据数据库中重新序列化 DAGs。如果您的序列化 DAGs 与您使用的 Airflow 版本不同步,这将特别有用。
airflow dags reserialize [-h] [-B BUNDLE_NAME] [-v]
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -v, --verbose
使日志输出更详细
默认值:False
show¶
–imgcat 选项仅在 iTerm 中有效。
更多信息,请参阅: https://www.iterm2.com/documentation-images.html
–save 选项将结果保存到指定文件。
文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅: https://graphviz.cpp.org.cn/doc/info/output.html
如果要创建 PNG 文件,则应执行以下命令:airflow dags show <DAG_ID> –save output.png
如果要创建 DOT 文件,则应执行以下命令:airflow dags show <DAG_ID> –save output.dot
airflow dags show [-h] [--imgcat] [-s SAVE] [-v] dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- --imgcat
使用 imgcat 工具显示图形。
默认值:False
- -s, --save
将结果保存到指定文件。
- -v, --verbose
使日志输出更详细
默认值:False
show-dependencies¶
–imgcat 选项仅在 iTerm 中有效。
更多信息,请参阅: https://www.iterm2.com/documentation-images.html
–save 选项将结果保存到指定文件。
文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅: https://graphviz.cpp.org.cn/doc/info/output.html
如果要创建 PNG 文件,则应执行以下命令:airflow dags show-dependencies –save output.png
如果要创建 DOT 文件,则应执行以下命令:airflow dags show-dependencies –save output.dot
airflow dags show-dependencies [-h] [--imgcat] [-s SAVE] [-v]
命名参数¶
- --imgcat
使用 imgcat 工具显示图形。
默认值:False
- -s, --save
将结果保存到指定文件。
- -v, --verbose
使日志输出更详细
默认值:False
state¶
获取 dag 运行的状态
airflow dags state [-h] [-v] dag_id logical_date_or_run_id
位置参数¶
- dag_id
dag 的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
test¶
执行给定 DAG 和逻辑日期的单个 DagRun。
–imgcat-dagrun 选项仅在 iTerm 中有效。
更多信息,请参阅: https://www.iterm2.com/documentation-images.html
如果使用 –save-dagrun,则在完成回填后,将当前 DAG Run 的图保存到指定文件。文件格式由文件扩展名确定。有关支持的格式的更多信息,请参阅: https://graphviz.cpp.org.cn/doc/info/output.html
如果要创建 PNG 文件,则应执行以下命令:airflow dags test <DAG_ID> <LOGICAL_DATE> –save-dagrun output.png
如果要创建 DOT 文件,则应执行以下命令:airflow dags test <DAG_ID> <LOGICAL_DATE> –save-dagrun output.dot
airflow dags test [-h] [-c CONF] [--imgcat-dagrun]
[--mark-success-pattern MARK_SUCCESS_PATTERN]
[--save-dagrun SAVE_DAGRUN] [--show-dagrun] [--use-executor]
[-v]
dag_id [logical_date]
位置参数¶
- dag_id
dag 的 ID
- logical_date
DAG 的逻辑日期(可选)
命名参数¶
- -c, --conf
转换为 DagRun conf 属性的 JSON 字符串
- --imgcat-dagrun
完成 dag 运行后,使用 imgcat 工具在屏幕上打印当前 DAG Run 的图。
默认值:False
- --mark-success-pattern
不运行与正则表达式 <MARK_SUCCESS_PATTERN> 匹配的 task_ids,而是将其标记为成功。可用于跳过例如本地测试中的依赖检查传感器或清理步骤。
- --save-dagrun
完成回填后,将当前 DAG Run 的图保存到指定文件。
- --show-dagrun
完成回填后,显示当前 DAG Run 的图。
该图采用 DOT 语言。
默认值:False
- --use-executor
使用执行器测试 DAG。默认情况下,它在没有执行器的情况下运行 DAG。如果设置,它将使用环境中配置的执行器。
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
trigger¶
触发新的 DAG 运行。如果 DAG 已暂停,则 dag 运行状态将保持排队,并且任务不会运行。
airflow dags trigger [-h] [-c CONF] [-l LOGICAL_DATE]
[--no-replace-microseconds] [-o table, json, yaml, plain]
[-r RUN_ID] [-v]
dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -c, --conf
转换为 DagRun conf 属性的 JSON 字符串
- -l, --logical-date
DAG 的逻辑日期
- --no-replace-microseconds
微秒是否应归零
默认值:True
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -r, --run-id
有助于识别此次运行
- -v, --verbose
使日志输出更详细
默认值:False
unpause¶
恢复一个或多个 DAGs。此命令允许恢复指定 DAGs 的执行,启用进一步的任务调度。使用 –treat-dag-id-as-regex 将 –dag-id 视为正则表达式模式以定位多个 DAGs。
airflow dags unpause [-h] [-o table, json, yaml, plain]
[--treat-dag-id-as-regex] [-v] [-y]
dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- --treat-dag-id-as-regex
如果设置,dag_id 将被视为正则表达式而不是精确字符串
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
db¶
数据库操作
airflow db [-h] COMMAND ...
位置参数¶
- COMMAND
可选项: check, check-migrations, clean, downgrade, drop-archived, export-archived, migrate, reset, shell
子命令¶
check¶
检查数据库是否可达
airflow db check [-h] [--retry RETRY] [--retry-delay RETRY_DELAY] [-v]
命名参数¶
- --retry
失败时重试数据库检查
默认值:0
- --retry-delay
重试之间的等待时间(秒)
默认值:1
- -v, --verbose
使日志输出更详细
默认值:False
check-migrations¶
检查迁移是否已完成(或持续检查直到超时)
airflow db check-migrations [-h] [-t MIGRATION_WAIT_TIMEOUT] [-v]
命名参数¶
- -t, --migration-wait-timeout
等待数据库迁移的超时时间
默认值:60
- -v, --verbose
使日志输出更详细
默认值:False
clean¶
清除元数据表中的旧记录
airflow db clean [-h] --clean-before-timestamp CLEAN_BEFORE_TIMESTAMP
[--dry-run] [--skip-archive] [-t TABLES] [-v] [-y]
命名参数¶
- --clean-before-timestamp
应清除数据的时间或时间戳。如果未提供时区信息,则假定日期处于 airflow 默认时区。示例:‘2022-01-01 00:00:00+01:00’
- --dry-run
执行模拟运行
默认值:False
- --skip-archive
不在归档表中保留已清除的记录。
默认值:False
- -t, --tables
要执行维护操作的表名(使用逗号分隔列表)。选项:[‘_xcom_archive’, ‘asset_event’, ‘callback_request’, ‘celery_taskmeta’, ‘celery_tasksetmeta’, ‘dag’, ‘dag_run’, ‘dag_version’, ‘deadline’, ‘import_error’, ‘job’, ‘log’, ‘sla_miss’, ‘task_instance’, ‘task_instance_history’, ‘task_reschedule’, ‘trigger’, ‘xcom’]
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
downgrade¶
降级元数据数据库的 schema。您必须提供 –to-revision 或 –to-version 之一。要仅打印命令而不执行,请使用选项 –show-sql-only。如果使用选项 –from-revision 或 –from-version,您也必须使用 –show-sql-only,因为如果实际*运行*迁移,我们应该只从*当前* Alembic revision 进行迁移。
airflow db downgrade [-h] [--from-revision FROM_REVISION]
[--from-version FROM_VERSION] [-s] [-r TO_REVISION]
[-n TO_VERSION] [-v] [-y]
命名参数¶
- --from-revision
(可选)如果生成 SQL,可以提供一个起始 Alembic revision
- --from-version
(可选) 如果生成 sql,可以提供一个 from 版本
- -s, --show-sql-only
不实际运行迁移;只打印 sql 脚本用于离线迁移。如果使用 –from-revision 或 –from-version,则需要此参数。
默认值:False
- -r, --to-revision
要降级到的 Alembic 版本修订。注意:必须提供 –to-revision 或 –to-version 之一。
- -n, --to-version
(可选) 如果提供,只运行迁移到此版本。
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
drop-archived¶
删除通过 db clean 命令创建的归档表
airflow db drop-archived [-h] [-t TABLES] [-y]
命名参数¶
- -t, --tables
要执行维护操作的表名(使用逗号分隔列表)。选项:[‘_xcom_archive’, ‘asset_event’, ‘callback_request’, ‘celery_taskmeta’, ‘celery_tasksetmeta’, ‘dag’, ‘dag_run’, ‘dag_version’, ‘deadline’, ‘import_error’, ‘job’, ‘log’, ‘sla_miss’, ‘task_instance’, ‘task_instance_history’, ‘task_reschedule’, ‘trigger’, ‘xcom’]
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
export-archived¶
从归档表中导出归档数据
airflow db export-archived [-h] [--drop-archives] [--export-format {csv}]
--output-path DIRPATH [-t TABLES] [-y]
命名参数¶
- --drop-archives
导出后删除归档表。请谨慎使用。
默认值:False
- --export-format
可能的选项:csv
用于导出清理后数据的文件格式
默认值:“csv”
- --output-path
导出清理后数据的输出目录路径。此目录必须存在。
- -t, --tables
要执行维护操作的表名(使用逗号分隔列表)。选项:[‘_xcom_archive’, ‘asset_event’, ‘callback_request’, ‘celery_taskmeta’, ‘celery_tasksetmeta’, ‘dag’, ‘dag_run’, ‘dag_version’, ‘deadline’, ‘import_error’, ‘job’, ‘log’, ‘sla_miss’, ‘task_instance’, ‘task_instance_history’, ‘task_reschedule’, ‘trigger’, ‘xcom’]
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
migrate¶
迁移元数据数据库的 schema。如果数据库不存在则创建。要只打印但不执行命令,请使用选项 --show-sql-only
。如果使用选项 --from-revision
或 --from-version
,则也必须使用 --show-sql-only
,因为如果实际运行迁移,我们应该只从当前的 Alembic 版本修订进行迁移。
airflow db migrate [-h] [--from-revision FROM_REVISION]
[--from-version FROM_VERSION] [-s] [-r TO_REVISION]
[-n TO_VERSION] [-v]
命名参数¶
- --from-revision
(可选)如果生成 SQL,可以提供一个起始 Alembic revision
- --from-version
(可选) 如果生成 sql,可以提供一个 from 版本
- -s, --show-sql-only
不实际运行迁移;只打印 sql 脚本用于离线迁移。如果使用 –from-revision 或 –from-version,则需要此参数。
默认值:False
- -r, --to-revision
(可选) 如果提供,只运行迁移到此 Alembic 版本修订(包括此版本)。
- -n, --to-version
(可选) 要升级到的 Airflow 版本。注意:必须提供 –to-revision 或 –to-version 之一。
- -v, --verbose
使日志输出更详细
默认值:False
reset¶
清空并重建元数据数据库
airflow db reset [-h] [-s] [-v] [-y]
命名参数¶
- -s, --skip-init
只删除表;不执行 db init。
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
shell¶
运行一个 shell 来访问数据库
airflow db shell [-h] [-v]
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
info¶
显示当前 Airflow 和环境的信息
airflow info [-h] [--anonymize] [--file-io] [-o table, json, yaml, plain] [-v]
命名参数¶
- --anonymize
最小化任何个人身份信息。与他人分享输出时使用。
默认值:False
- --file-io
将输出发送到 file.io 服务并返回链接。
默认值:False
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
jobs¶
管理作业
airflow jobs [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:check
子命令¶
check¶
检查作业是否仍在运行
airflow jobs check [-h] [--allow-multiple] [--hostname HOSTNAME]
[--job-type {SchedulerJob,TriggererJob,DagProcessorJob}]
[--limit LIMIT] [--local] [-v]
命名参数¶
- --allow-multiple
如果传递此参数,即使找到多个匹配的正在运行的作业,此命令也会成功。
默认值:False
- --hostname
要检查的作业的主机名。
- --job-type
可能的选项:SchedulerJob, TriggererJob, DagProcessorJob
要检查的作业类型。
- --limit
要检查的最近作业数量。要禁用限制,请设置为 0。
默认值:1
- --local
如果传递此参数,此命令将只显示来自本地主机(主机名与 hostname_callable 返回值匹配)的作业。
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
示例:要检查本地调度程序是否仍在正常工作,请运行
$ airflow jobs check –job-type SchedulerJob –local”
在使用高可用性时检查是否有任何调度程序正在运行,请运行
$ airflow jobs check –job-type SchedulerJob –allow-multiple –limit 100
kerberos¶
启动一个 kerberos 票据续期器
airflow kerberos [-h] [-D] [-k [KEYTAB]] [-l LOG_FILE] [-o] [--pid [PID]]
[--stderr STDERR] [--stdout STDOUT] [-v]
[principal]
位置参数¶
- principal
kerberos principal
命名参数¶
- -D, --daemon
作为守护进程运行而不是在前台运行
默认值:False
- -k, --keytab
keytab
默认值:“airflow.keytab”
- -l, --log-file
日志文件位置
- -o, --one-time
只运行一次 airflow kerberos 而非永久运行
默认值:False
- --pid
PID 文件位置
- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -v, --verbose
使日志输出更详细
默认值:False
plugins¶
导出已加载插件的信息
airflow plugins [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
pools¶
管理资源池
airflow pools [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:delete, export, get, import, list, set
子命令¶
delete¶
删除资源池
airflow pools delete [-h] [-o table, json, yaml, plain] [-v] NAME
位置参数¶
- NAME
资源池名称
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
export¶
导出所有资源池
airflow pools export [-h] [-v] FILEPATH
位置参数¶
- FILEPATH
将所有资源池导出到 JSON 文件
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
get¶
获取资源池大小
airflow pools get [-h] [-o table, json, yaml, plain] [-v] NAME
位置参数¶
- NAME
资源池名称
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
import¶
导入资源池
airflow pools import [-h] [-v] FILEPATH
位置参数¶
- FILEPATH
从 JSON 文件导入资源池。示例格式
{ "pool_1": {"slots": 5, "description": "", "include_deferred": true}, "pool_2": {"slots": 10, "description": "test", "include_deferred": false} }
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出资源池
airflow pools list [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
set¶
配置资源池
airflow pools set [-h] [--include-deferred] [-o table, json, yaml, plain] [-v]
NAME slots description
位置参数¶
- NAME
资源池名称
- slots
资源池槽位
- description
资源池描述
命名参数¶
- --include-deferred
在资源池计算中包含延迟任务
默认值:False
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
providers¶
显示提供程序
airflow providers [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:auth-managers, behaviours, configs, executors, get, hooks, lazy-loaded, links, list, logging, notifications, secrets, triggers, widgets
子命令¶
auth-managers¶
获取提供的 auth managers (认证管理器)信息
airflow providers auth-managers [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
behaviours¶
获取关于具有自定义 behaviours (行为)的已注册连接类型的信息
airflow providers behaviours [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
configs¶
获取关于提供程序配置的信息
airflow providers configs [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
executors¶
获取关于提供的 executors (执行器)信息
airflow providers executors [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
get¶
获取提供程序的详细信息
airflow providers get [-h] [--color {on,off,auto}] [-f]
[-o table, json, yaml, plain] [-v]
provider_name
位置参数¶
- provider_name
提供程序名称,获取提供程序信息所需
命名参数¶
- --color
可选项: on, off, auto
是否输出带颜色的内容 (默认值: auto)
默认值:“auto”
- -f, --full
提供程序的完整信息,包括文档信息。
默认值:False
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
hooks¶
列出已注册的提供程序 hooks
airflow providers hooks [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
lazy-loaded¶
检查提供程序配置是否为延迟加载
airflow providers lazy-loaded [-h] [-v]
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
links¶
列出提供程序注册的额外链接
airflow providers links [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出已安装的提供程序
airflow providers list [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
logging¶
获取关于提供的任务日志 handlers (处理程序)信息
airflow providers logging [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
notifications¶
获取关于提供的 notifications (通知)信息
airflow providers notifications [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
secrets¶
获取关于提供的 secrets backends (secrets 后端)信息
airflow providers secrets [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
triggers¶
列出已注册的提供程序 triggers
airflow providers triggers [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
widgets¶
获取关于已注册连接表单 widgets (小部件)信息
airflow providers widgets [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
rotate-fernet-key¶
轮换所有加密的连接凭据和变量;参见 https://airflow.org.cn/docs/apache-airflow/stable/howto/secure-connections.html#rotating-encryption-keys
airflow rotate-fernet-key [-h]
scheduler¶
启动一个调度程序实例
airflow scheduler [-h] [-D] [-l LOG_FILE] [-n NUM_RUNS] [--pid [PID]] [-s]
[--stderr STDERR] [--stdout STDOUT] [-v]
命名参数¶
- -D, --daemon
作为守护进程运行而不是在前台运行
默认值:False
- -l, --log-file
日志文件位置
- -n, --num-runs
设置退出前要执行的运行次数
默认值:-1
- --pid
PID 文件位置
- -s, --skip-serve-logs
不启动 serve logs (服务日志)进程以及 worker 进程
默认值:False
- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -v, --verbose
使日志输出更详细
默认值:False
信号
SIGUSR2:导出 executor (执行器)跟踪的任务状态快照。
- 示例
pkill -f -USR2 “airflow scheduler”
standalone¶
运行一个 all-in-one (一体化)的 Airflow 实例
airflow standalone [-h]
tasks¶
管理任务
airflow tasks [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:clear, failed-deps, list, render, state, states-for-dag-run, test
子命令¶
clear¶
清除一组任务实例,就像它们从未运行过一样
airflow tasks clear [-h] [-B BUNDLE_NAME] [-R] [-d] [-e END_DATE] [-f] [-r]
[-s START_DATE] [-t TASK_REGEX] [-u] [-v] [-y]
dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -R, --dag-regex
将 dag_id 作为正则表达式搜索,而不是精确字符串
默认值:False
- -d, --downstream
包括下游任务
默认值:False
- -e, --end-date
覆盖结束日期 YYYY-MM-DD
- -f, --only-failed
只包括失败的任务
默认值:False
- -r, --only-running
只包括正在运行的任务
默认值:False
- -s, --start-date
覆盖起始日期 YYYY-MM-DD
- -t, --task-regex
用于过滤特定 task_ids (任务ID)的正则表达式(可选)
- -u, --upstream
包括上游任务
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
- -y, --yes
不提示确认。请谨慎使用!
默认值:False
failed-deps¶
从调度程序的角度返回任务实例未满足的依赖项。换句话说,说明为什么任务实例没有被调度程序调度并排入队列,然后由 executor (执行器)运行。
airflow tasks failed-deps [-h] [-B BUNDLE_NAME] [--map-index MAP_INDEX] [-v]
dag_id task_id logical_date_or_run_id
位置参数¶
- dag_id
dag 的 ID
- task_id
任务的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- --map-index
映射任务索引
默认值:-1
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出 DAG 中的任务
airflow tasks list [-h] [-B BUNDLE_NAME] [-v] dag_id
位置参数¶
- dag_id
dag 的 ID
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -v, --verbose
使日志输出更详细
默认值:False
render¶
渲染任务实例的模板
airflow tasks render [-h] [-B BUNDLE_NAME] [--map-index MAP_INDEX] [-v]
dag_id task_id logical_date_or_run_id
位置参数¶
- dag_id
dag 的 ID
- task_id
任务的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- --map-index
映射任务索引
默认值:-1
- -v, --verbose
使日志输出更详细
默认值:False
state¶
获取任务实例的状态
airflow tasks state [-h] [-B BUNDLE_NAME] [--map-index MAP_INDEX] [-v]
dag_id task_id logical_date_or_run_id
位置参数¶
- dag_id
dag 的 ID
- task_id
任务的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- --map-index
映射任务索引
默认值:-1
- -v, --verbose
使日志输出更详细
默认值:False
states-for-dag-run¶
获取 dag run (DAG 运行)中所有任务实例的状态
airflow tasks states-for-dag-run [-h] [-o table, json, yaml, plain] [-v]
dag_id logical_date_or_run_id
位置参数¶
- dag_id
dag 的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
test¶
测试任务实例。这将在不检查依赖项或在数据库中记录其状态的情况下运行任务
airflow tasks test [-h] [-B BUNDLE_NAME] [-n] [--env-vars ENV_VARS]
[--map-index MAP_INDEX] [-m] [-t TASK_PARAMS] [-v]
dag_id task_id [logical_date_or_run_id]
位置参数¶
- dag_id
dag 的 ID
- task_id
任务的 ID
- logical_date_or_run_id
DAG 的逻辑日期或 DAGRun 的 run_id (可选)
命名参数¶
- -B, --bundle-name
要使用的 DAG bundle 名称;可多次提供
- -n, --dry-run
对每个任务执行一次 dry run (试运行)。只渲染每个任务的 Template Fields (模板字段),不执行其他操作
默认值:False
- --env-vars
在解析时和运行时为 JSON dict (字典)中提供的每个条目设置环境变量
- --map-index
映射任务索引
默认值:-1
- -m, --post-mortem
在未捕获的异常上打开调试器
默认值:False
- -t, --task-params
发送一个 JSON 参数 dict (字典)给任务
- -v, --verbose
使日志输出更详细
默认值:False
triggerer¶
启动一个 triggerer (触发器)实例
airflow triggerer [-h] [--capacity CAPACITY] [-D] [-l LOG_FILE] [--pid [PID]]
[-s] [--stderr STDERR] [--stdout STDOUT] [-v]
命名参数¶
- --capacity
一个 Triggerer (触发器)一次将运行的最大触发器数量。
- -D, --daemon
作为守护进程运行而不是在前台运行
默认值:False
- -l, --log-file
日志文件位置
- --pid
PID 文件位置
- -s, --skip-serve-logs
不启动 serve logs (服务日志)进程以及 worker 进程
默认值:False
- --stderr
将 stderr 重定向到此文件
- --stdout
将 stdout 重定向到此文件
- -v, --verbose
使日志输出更详细
默认值:False
variables¶
管理变量
airflow variables [-h] COMMAND ...
位置参数¶
- COMMAND
可能的选项:delete, export, get, import, list, set
子命令¶
delete¶
删除变量
airflow variables delete [-h] [-v] key
位置参数¶
- key
变量键
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
export¶
所有变量都可以使用以下命令导出到 STDOUT (标准输出):airflow variables export -
airflow variables export [-h] [-v] file
位置参数¶
- file
将所有变量导出到 JSON 文件
命名参数¶
- -v, --verbose
使日志输出更详细
默认值:False
get¶
获取变量
airflow variables get [-h] [-d VAL] [-j] [-v] key
位置参数¶
- key
变量键
命名参数¶
- -d, --default
如果变量不存在则返回的默认值
- -j, --json
反序列化 JSON 变量
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
import¶
导入变量
airflow variables import [-h] [-a {overwrite,fail,skip}] [-v] file
位置参数¶
- file
从 JSON 文件导入变量
命名参数¶
- -a, --action-on-existing-key
可能的选项:overwrite, fail, skip
当遇到已存在的变量键时采取的操作。
默认值:“覆盖”
- -v, --verbose
使日志输出更详细
默认值:False
list¶
列出变量
airflow variables list [-h] [-o table, json, yaml, plain] [-v]
命名参数¶
- -o, --output
可选项: table, json, yaml, plain
输出格式。允许的值:json, yaml, plain, table (默认值: table)
默认值:“table”
- -v, --verbose
使日志输出更详细
默认值:False
set¶
设置变量
airflow variables set [-h] [--description DESCRIPTION] [-j] [-v] key VALUE
位置参数¶
- key
变量键
- VALUE
变量值
命名参数¶
- --description
变量描述,设置变量时可选
- -j, --json
序列化 JSON 变量
默认值:False
- -v, --verbose
使日志输出更详细
默认值:False
version¶
显示版本
airflow version [-h]
环境变量¶
- AIRFLOW__{SECTION}__{KEY}¶
设置 Airflow 配置中的选项。此值优先于
airflow.cfg
文件中的值。将
{SECTION}
占位符替换为任何部分,将{KEY}
占位符替换为该指定部分中的任何键。例如,如果要在
[core]
部分中设置dags_folder
选项,则应设置AIRFLOW__CORE__DAGS_FOLDER
环境变量。更多信息请参阅:设置配置选项。
- AIRFLOW__{SECTION}__{KEY}_CMD¶
对于 Airflow 中任何部分中的特定键,执行该键指向的命令。命令的结果将用作
AIRFLOW__{SECTION}__{KEY}
环境变量的值。此功能仅支持以下配置选项
sql_alchemy_conn
在[database]
部分中fernet_key
在[core]
部分中broker_url
在[celery]
部分中flower_basic_auth
在[celery]
部分中result_backend
在[celery]
部分中password
在[atlas]
部分中smtp_password
在[smtp]过去
secret_key
在[webserver]
部分中
- AIRFLOW__{SECTION}__{KEY}_SECRET¶
对于 Airflow 中任何部分中的特定键,从配置的 secrets backend (secrets 后端)检索秘密。返回的值将用作
AIRFLOW__{SECTION}__{KEY}
环境变量的值。有关可用 secrets backends (secrets 后端)的更多信息,请参阅 Secrets Backends。
这种形式的环境变量配置仅支持与
AIRFLOW__{SECTION}__{KEY}_CMD
相同的配置选项子集。
- AIRFLOW_CONFIG¶
Airflow 配置文件的路径。
- AIRFLOW_CONN_{CONN_ID}¶
使用 URI 值定义一个名为
{CONN_ID}
的新连接。例如,如果想创建一个名为
PROXY_POSTGRES_TCP
的连接,可以创建一个键AIRFLOW_CONN_PROXY_POSTGRES_TCP
,其值是连接 URI。更多信息请参阅:将连接存储在环境变量中。
- AIRFLOW_HOME¶
Airflow 内容的根目录。这是 Airflow 资产(如 dags 和 logs)的默认父目录。