配置参考¶

本页包含 apache-airflow-providers-elasticsearch Provider 的所有可用 Airflow 配置列表，这些配置可以在 airflow.cfg 文件中或使用环境变量进行设置。

注意

自 Airflow 2.7.0 起开始使用嵌入在 Provider 中的配置。在此之前，配置是在 Airflow Core 包中描述和配置的 - 因此如果您使用的 Airflow 版本低于 2.7.0，请查阅 Airflow 文档以获取 Airflow Core 中可用的配置选项列表。

注意

更多信息请参阅设置配置选项。

[elasticsearch]¶

end_of_log_mark¶

添加于版本 1.10.4。

用于标记任务日志流的结尾

类型:: 字符串
默认值:: end_of_log
环境变量:: AIRFLOW__ELASTICSEARCH__END_OF_LOG_MARK

frontend¶

添加于版本 1.10.4。

Elasticsearch 前端（如 Kibana）的限定 URL，带有用于 log_id 的模板参数。代码将使用上述参数中的 log_id 模板构建 log_id。注意：如果未提供方案（scheme），将默认为 https

类型:: 字符串
默认值:: ''
环境变量:: AIRFLOW__ELASTICSEARCH__FRONTEND
示例:: http://localhost:5601/app/kibana#/discover?_a=(columns:!(message),query:(language:kuery,query:'log_id: "{log_id}"'),sort:!(log.offset,asc))

host¶

添加于版本 1.10.4。

Elasticsearch 主机

类型:: 字符串
默认值:: ''
环境变量:: AIRFLOW__ELASTICSEARCH__HOST

host_field¶

添加于版本 2.1.1。

存储主机名字段（通常是 host 或 host.name）

类型:: 字符串
默认值:: host
环境变量:: AIRFLOW__ELASTICSEARCH__HOST_FIELD

index_patterns¶

添加于版本 2.6.0。

搜索日志时使用的索引模式的逗号分隔列表（默认值：_all）。index_patterns_callable 优先于此。

类型:: 字符串
默认值:: _all
环境变量:: AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS
示例:: something-*

index_patterns_callable¶

添加于版本 5.5.0。

表示 Python 可调用路径完整路径的字符串，该可调用接受 TI 对象并返回逗号分隔的索引模式列表。这将优先于 index_patterns。

类型:: 字符串
默认值:: ''
环境变量:: AIRFLOW__ELASTICSEARCH__INDEX_PATTERNS_CALLABLE
示例:: module.callable

json_fields¶

添加于版本 1.10.4。

如果启用，也要附加到 JSON 输出的日志字段

类型:: 字符串
默认值:: asctime, filename, lineno, levelname, message
环境变量:: AIRFLOW__ELASTICSEARCH__JSON_FIELDS

json_format¶

添加于版本 1.10.4。

不使用默认日志格式化程序，将日志行写为 JSON 格式

类型:: 字符串
默认值:: False
环境变量:: AIRFLOW__ELASTICSEARCH__JSON_FORMAT

log_id_template¶

添加于版本 1.10.4。

log_id 的格式，用于查询给定任务的日志

类型:: 字符串
默认值:: {dag_id}-{task_id}-{run_id}-{map_index}-{try_number}
环境变量:: AIRFLOW__ELASTICSEARCH__LOG_ID_TEMPLATE

offset_field¶

添加于版本 2.1.1。

存储偏移量的字段（通常是 offset 或 log.offset）

类型:: 字符串
默认值:: offset
环境变量:: AIRFLOW__ELASTICSEARCH__OFFSET_FIELD

target_index¶

添加于版本 5.5.4。

启用将任务日志写入 Elasticsearch 时要写入的索引名称

类型:: 字符串
默认值:: airflow-logs
环境变量:: AIRFLOW__ELASTICSEARCH__TARGET_INDEX

write_stdout¶

添加于版本 1.10.4。

将任务日志写入 worker 的标准输出，而不是默认文件

类型:: 字符串
默认值:: False
环境变量:: AIRFLOW__ELASTICSEARCH__WRITE_STDOUT

write_to_es¶

添加于版本 5.5.4。

将任务日志写入 Elasticsearch

类型:: 字符串
默认值:: False
环境变量:: AIRFLOW__ELASTICSEARCH__WRITE_TO_ES

[elasticsearch_configs]¶

http_compress¶

添加于版本 1.10.5。

类型:: 字符串
默认值:: False
环境变量:: AIRFLOW__ELASTICSEARCH_CONFIGS__HTTP_COMPRESS

verify_certs¶

添加于版本 1.10.5。

类型:: 字符串
默认值:: True
环境变量:: AIRFLOW__ELASTICSEARCH_CONFIGS__VERIFY_CERTS