配置参考

本页包含 apache-airflow-providers-opensearch Provider 所有可用的 Airflow 配置列表，这些配置可以在 airflow.cfg 文件中或使用环境变量设置。

注意

提供程序中嵌入的配置从 Airflow 2.7.0 开始使用。之前，配置在 Airflow 核心包中描述和配置 - 因此如果您使用的 Airflow 版本低于 2.7.0，请查阅 Airflow 文档，了解 Airflow 核心中可用的配置选项列表。

注意

更多信息请参阅 设置配置选项。

[opensearch]

end_of_log_mark

自版本 1.5.0 添加。

用于标记任务日志流的结束

类型:

字符串

默认:

end_of_log

环境变量:

AIRFLOW__OPENSEARCH__END_OF_LOG_MARK

host

自版本 1.5.0 添加。

Opensearch 主机

类型:

字符串

默认:

''

环境变量:

AIRFLOW__OPENSEARCH__HOST

host_field

自版本 1.5.0 添加。

存储主机名的字段 (通常是 host 或 host.name)

类型:

字符串

默认:

host

环境变量:

AIRFLOW__OPENSEARCH__HOST_FIELD

index_patterns

自版本 1.5.0 添加。

搜索日志时使用的索引模式列表，以逗号分隔 (默认: _all)。index_patterns_callable 优先于此设置。

类型:

字符串

默认:

_all

环境变量:

AIRFLOW__OPENSEARCH__INDEX_PATTERNS

示例:

something-*

index_patterns_callable

自版本 1.5.0 添加。

一个字符串，表示 Python 可调用对象的完整路径，该对象接受 TI 对象并返回以逗号分隔的索引模式列表。此设置优先于 index_patterns。

类型:

字符串

默认:

''

环境变量:

AIRFLOW__OPENSEARCH__INDEX_PATTERNS_CALLABLE

示例:

module.callable

json_fields

自版本 1.5.0 添加。

如果启用，也会附加到 JSON 输出的日志字段

类型:

字符串

默认:

asctime, filename, lineno, levelname, message

环境变量:

AIRFLOW__OPENSEARCH__JSON_FIELDS

json_format

自版本 1.5.0 添加。

将日志行写入为 JSON 格式，而不是使用默认的日志格式化程序

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH__JSON_FORMAT

log_id_template

自版本 1.5.0 添加。

log_id 的格式，用于查询给定任务的日志

类型:

字符串

默认:

{dag_id}-{task_id}-{run_id}-{map_index}-{try_number}

环境变量:

AIRFLOW__OPENSEARCH__LOG_ID_TEMPLATE

offset_field

自版本 1.5.0 添加。

存储偏移量的字段 (通常是 offset 或 log.offset)

类型:

字符串

默认:

offset

环境变量:

AIRFLOW__OPENSEARCH__OFFSET_FIELD

password

自版本 1.5.0 添加。

连接 Opensearch 的密码

类型:

字符串

默认:

''

环境变量:

AIRFLOW__OPENSEARCH__PASSWORD

AIRFLOW__OPENSEARCH__PASSWORD_CMD

AIRFLOW__OPENSEARCH__PASSWORD_SECRET

port

自版本 1.5.0 添加。

Opensearch 主机的端口号

类型:

整数

默认:

''

环境变量:

AIRFLOW__OPENSEARCH__PORT

username

自版本 1.5.0 添加。

连接 Opensearch 的用户名

类型:

字符串

默认:

''

环境变量:

AIRFLOW__OPENSEARCH__USERNAME

AIRFLOW__OPENSEARCH__USERNAME_CMD

AIRFLOW__OPENSEARCH__USERNAME_SECRET

write_stdout

自版本 1.5.0 添加。

将任务日志写入 worker 的标准输出，而不是默认文件

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH__WRITE_STDOUT

[opensearch_configs]

ca_certs

自版本 1.5.0 添加。

类型:

字符串

默认:

''

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__CA_CERTS

http_compress

自版本 1.5.0 添加。

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__HTTP_COMPRESS

ssl_assert_hostname

自版本 1.5.0 添加。

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__SSL_ASSERT_HOSTNAME

ssl_show_warn

自版本 1.5.0 添加。

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__SSL_SHOW_WARN

use_ssl

自版本 1.5.0 添加。

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__USE_SSL

verify_certs

自版本 1.5.0 添加。

类型:

字符串

默认:

False

环境变量:

AIRFLOW__OPENSEARCH_CONFIGS__VERIFY_CERTS

此条目有帮助吗？