配置参考¶
本页包含 apache-airflow-providers-elasticsearch 提供程序的所有可用 Airflow 配置的列表，这些配置可以在 airflow.cfg 文件中设置，也可以使用环境变量设置。
注意
嵌入在提供程序包中的配置从 Airflow 2.7.0 开始使用。以前，配置是在 Airflow 核心包中描述和配置的 - 因此，如果您使用的是低于 2.7.0 的 Airflow，请查看 Airflow 文档，了解 Airflow 核心中可用的配置选项列表。
注意
有关更多信息，请参阅 设置配置选项。
[elasticsearch]¶
end_of_log_mark¶
1.10.4 版本新增。
用于标记任务日志流的结束
- 类型
字符串
- 默认
end_of_log- 环境变量
AIRFLOW__ELASTICSEARCH__END_OF_LOG_MARK
frontend¶
1.10.4 版本新增。
Elasticsearch 前端（如 Kibana）的限定 URL，带有 log_id 的模板参数。代码将使用上述参数中的 log_id 模板构造 log_id。注意：如果未提供方案，则方案将默认为 https
- 类型
字符串
- 默认
''- 环境变量
AIRFLOW__ELASTICSEARCH__FRONTEND- 示例
https://127.0.0.1:5601/app/kibana#/discover?_a=(columns:!(message),query:(language:kuery,query:'log_id: "{log_id}"'),sort:!(log.offset,asc))
host_field¶
2.1.1 版本新增。
存储主机名的字段（通常是 host 或 host.name）
- 类型
字符串
- 默认
host- 环境变量
AIRFLOW__ELASTICSEARCH__HOST_FIELD
index_patterns¶
2.6.0 版本新增。
搜索日志时要使用的索引模式的逗号分隔列表（默认：_all）。index_patterns_callable 优先于此。
- 类型
字符串
- 默认
_all- 环境变量
AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS- 示例
something-*
index_patterns_callable¶
5.5.0 版本新增。
一个字符串，表示 Python 可调用路径的完整路径，该路径接受 TI 对象并返回索引模式的逗号分隔列表。这将优先于 index_patterns。
- 类型
字符串
- 默认
''- 环境变量
AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS_CALLABLE- 示例
module.callable
json_fields¶
1.10.4 版本新增。
如果启用，还要附加到 json 输出的日志字段
- 类型
字符串
- 默认
asctime, filename, lineno, levelname, message- 环境变量
AIRFLOW__ELASTICSEARCH__JSON_FIELDS
json_format¶
1.10.4 版本新增。
不用默认的日志格式化程序，而是将日志行写为 JSON
- 类型
字符串
- 默认
False- 环境变量
AIRFLOW__ELASTICSEARCH__JSON_FORMAT
log_id_template¶
1.10.4 版本新增。
log_id 的格式，用于查询给定任务的日志
- 类型
字符串
- 默认
{dag_id}-{task_id}-{run_id}-{map_index}-{try_number}- 环境变量
AIRFLOW__ELASTICSEARCH__LOG_ID_TEMPLATE
offset_field¶
2.1.1 版本新增。
存储偏移量的字段（通常是 offset 或 log.offset）
- 类型
字符串
- 默认
offset- 环境变量
AIRFLOW__ELASTICSEARCH__OFFSET_FIELD
write_stdout¶
1.10.4 版本新增。
将任务日志写入工作节点的 stdout，而不是默认文件
- 类型
字符串
- 默认
False- 环境变量
AIRFLOW__ELASTICSEARCH__WRITE_STDOUT