UI / 屏幕截图

Airflow UI 使您可以轻松监控和排查数据管道问题。以下是您可以在 Airflow UI 中找到的一些功能和可视化的快速概述。

DAGs 视图

列出您的环境中 DAG,并提供指向有用页面的快捷方式。您可以一目了然地看到有多少任务成功、失败或正在运行。要隐藏已完成的任务,请设置 show_recent_stats_for_completed_runs = False

为了过滤 DAG(例如按团队),您可以在每个 DAG 中添加标签。过滤器保存在 cookie 中,可以通过重置按钮重置。例如

dag = DAG("dag", tags=["team1", "sql"])

_images/dags.png

集群活动视图

Airflow UI 中的原生 Airflow 仪表板页面,用于收集几个有用的指标以监控您的 Airflow 集群。


_images/cluster_activity.png

数据集视图

当前数据集的组合列表以及说明它们如何由 DAG 生成和使用的图表。

单击列表或图表中的任何数据集将突出显示它及其关系,并过滤列表以显示已更新该数据集的任务实例的最近历史以及它是否触发了进一步的 DAG 运行。


_images/datasets.png

网格视图

一个跨越时间的 DAG 的条形图和网格表示。顶行是按持续时间划分的 DAG 运行图表,下面是任务实例。如果管道延迟,您可以快速查看不同步骤的位置并识别阻塞的步骤。


_images/grid.png

通过单击持续时间条选择 DAG 运行,详细信息面板将更新

_images/grid_run_details.png

或通过单击状态框选择任务实例

_images/grid_instance_details.png

或通过单击 task_id 选择所有运行中的任务

_images/grid_task_details.png

手动运行由播放图标指示(就像“触发 DAG”按钮一样)。数据集触发的运行由数据库图标指示

_images/run_types.png

任务组由插入符号指示,可以打开或关闭

_images/grid_task_group.png

映射的任务由方括号指示,将在“映射的任务”面板中显示每个映射的任务实例的表格

_images/grid_mapped_task.png

图表视图

图表视图可能最全面。可视化 DAG 的依赖关系及其特定运行的当前状态。


_images/graph.png

日历视图

日历视图提供了您的整个 DAG 在数月甚至数年内的历史记录的概述。让您可以快速查看一段时间内运行的总体成功/失败率的趋势。


_images/calendar.png

变量视图

变量视图允许您列出、创建、编辑或删除作业期间使用的变量的键值对。如果键包含默认的 (‘password’, ‘secret’, ‘passwd’, ‘authorization’, ‘api_key’, ‘apikey’, ‘access_token’) 中的任何单词,则变量的值将隐藏,但可以配置为以明文显示。请参阅 屏蔽敏感数据


_images/variable_hidden.png

甘特图

甘特图使您可以分析任务持续时间和重叠。您可以快速识别瓶颈以及特定 DAG 运行花费大部分时间的位置。


_images/gantt.png

任务时长

您的不同任务在过去 N 次运行中的持续时间。此视图使您可以找到异常值并快速了解 DAG 在多次运行中花费时间的位置。


_images/duration.png

着陆时间

任务实例的着陆时间是 DAG 运行的数据间隔结束时间(通常这意味着 DAG “应该”运行的时间)与 DAG 运行完成时间之间的差值。


_images/landing_times.png

代码视图

透明度至关重要。虽然管道的代码在源代码管理中,但这是一种快速获取生成 DAG 的代码并提供更多上下文的方式。


_images/code.png

触发表单

如果您使用箭头按钮触发手动 DAG 运行,则会显示一个表单。表单显示基于 参数 中描述的 DAG 参数。


_images/trigger-dag-tutorial-form.png

审计日志

查看与 DAG 相关的所有事件。通过更改任务和 DAG 运行选择以及包含/排除不同的事件名称来过滤事件。


_images/audit_log.png

此条目是否有帮助?