日志记录和监控

由于数据管道通常在没有任何人工监督的情况下运行,因此可观察性至关重要。

Airflow 支持多种日志记录机制,以及一个内置机制,用于在其他下游系统中收集、处理和可视化指标。日志记录功能对于诊断在运行数据管道过程中可能发生的故障至关重要。

除了标准的日志记录和指标功能外,Airflow 还支持检测 Airflow 自身操作中的错误的能力,方法是使用 Airflow 健康检查。由于 Airflow 通常用于在生产环境中运行数据管道,因此它还支持通过与 Sentry 集成进行实时错误通知。

此条目是否有用?