日志记录和监控架构¶

Airflow 支持多种日志记录和监控机制，如下所示。

默认情况下，Airflow 支持将日志记录到本地文件系统。其中包括来自 Web 服务器、调度器和运行任务的 Worker 的日志。这适用于开发环境和快速调试。

对于云端部署，Airflow 还有社区贡献的任务处理程序，用于将日志记录到云存储，例如 AWS、Google Cloud 和 Azure。

日志记录设置和选项可以在 Airflow 配置文件中指定，该文件通常需要对所有 Airflow 进程可用：Web 服务器、调度器和 Worker。

您可以通过在 Airflow 配置文件中指定日志记录设置，或通过使用高级功能进行高级配置，为每个 Airflow 组件自定义日志记录设置。

对于生产部署，我们建议使用 FluentD 捕获日志并将其发送到 ElasticSearch 或 Splunk 等目标。

注意

有关配置日志记录的更多信息，请参阅任务日志记录

同样，我们建议使用 StatsD 从 Airflow 收集指标并将其发送到 Prometheus 等目的地。

注意

有关配置指标的更多信息，请参阅指标配置