日志和监控架构

Airflow 支持多种日志和监控机制，如下所示。

默认情况下，Airflow 支持将日志写入本地文件系统。这包括来自 Web 服务器、调度器以及运行任务的工作节点的日志。此方式适用于开发环境和快速调试。

对于云部署，Airflow 还有社区贡献的任务处理程序，可将日志记录到云存储，如 AWS、Google Cloud 和 Azure。

日志设置和选项可以在 Airflow 配置文件中指定，通常需要对所有 Airflow 进程（Web 服务器、调度器和工作节点）可用。

您可以通过在 Airflow 配置文件中指定日志设置，来自定义每个 Airflow 组件的日志设置，或者使用高级特性进行高级配置。

对于生产环境部署，建议使用 FluentD 捕获日志并发送到诸如 ElasticSearch 或 Splunk 等目标。

注意

欲了解更多日志配置信息，请参见任务日志记录

同样，建议使用 StatsD 从 Airflow 收集指标并将其发送到诸如 Prometheus 等目标。

注意

欲了解更多指标配置信息，请参见指标配置