Airflow 峰会 2025 将于 10 月 07-09 日举行。立即注册获取早鸟票!

UI 概览

Airflow UI 提供了一种强大的方式来监控、管理和排除数据管道和数据资产的故障。从 Airflow 3 开始,UI 进行了现代化外观的更新,支持深色和浅色主题,并重新设计了导航体验。

本指南以参考风格详细介绍了关键的 UI 组件,并附有带注释的截图,以帮助新手和经验丰富的用户。

注意

本指南中的截图默认使用深色主题。部分视图也以浅色主题显示,以便进行比较。您可以从 Airflow UI 底部角落的用户设置中切换主题。

主页

主页提供了系统状态和最近活动的高层概览。它是 Airflow 3 中的默认着陆页,包括

  • 系统组件(如 MetaDatabase、Scheduler、Triggerer 和 Dag Processor)的健康指标

  • 按状态过滤的 DAG 快速链接(例如,失败的 DAG、正在运行的 DAG、活动的 DAG)

  • DAG 和任务实例历史,显示在可选时间范围内的计数和成功/失败率

  • 最近的资产事件,包括具体化和触发的 DAG

此页面对于快速评估环境的健康状况以及识别最近的问题或资产触发的事件非常有用。

Airflow Home Page showing system health, DAG/task stats, and asset events (Dark Mode)

Airflow Home Page showing system health, DAG/task stats, and asset events (Dark Mode)

DAG 列表视图

当您点击主导航栏中的DAGs选项卡时,将出现 DAG 列表视图。它显示环境中所有可用的 DAG,并清晰概括了它们的状态、最近运行和配置。

每行包括

  • DAG ID

  • 调度和下次运行时间

  • 最新 DAG 运行的状态

  • 最近运行的条形图

  • 标签,可用于对 DAG 进行分组或过滤(例如,example, produces

  • 暂停/恢复开关

  • 访问 DAG 级别视图的链接

在视图顶部,您可以

  • 使用 过滤器 按 DAG 状态、调度状态和标签进行过滤

  • 使用 搜索高级搜索 (⌘+K) 查找特定的 DAG

  • 使用下拉菜单对列表进行排序(例如,最近运行开始日期)

DAG List View in dark mode showing search, filters, and DAG-level controls

DAG List View in light mode showing the same DAGs and actions for comparison

此列表中的某些 DAG 可能与数据资产交互。例如,由资产条件触发的 DAG 可能会显示弹出窗口,显示上游资产输入。

DAG List View showing asset condition popup (Dark Mode)

DAG List View showing asset condition popup (Light Mode)

DAG 详情页

点击列表中的 DAG 会打开 DAG 详情页。此视图集中访问 DAG 的元数据、最近活动和任务级别诊断信息。

关键元素包括

  • DAG 元数据,包括 ID、所有者、标签、调度和最新 DAG 版本

  • 触发 DAG、重新解析或暂停/恢复的操作按钮

  • 选项卡式界面:概览(最近失败、运行计数、任务日志);网格视图(状态热力图);图视图(任务依赖项);运行(完整运行历史);任务(汇总统计);事件(系统或资产触发);代码(DAG 源);以及详情(扩展元数据)

此页面还包括最近 DAG 运行的视觉时间线失败日志预览,帮助用户快速识别跨运行的问题。

DAG Details Page in dark mode showing overview dashboard and failure diagnostics

DAG Details Page in light mode showing overview dashboard and failure diagnostics

网格视图

网格视图是检查 DAG 运行和任务状态的主要界面。它提供了一种交互方式来调试、重试或监控工作流随时间的变化。

使用网格视图可以

  • 一目了然地了解最近 DAG 运行的状态

  • 通过颜色和工具提示识别失败或重试的任务

  • 通过点击任务单元格采取行动,以查看日志或将任务实例标记为成功、失败或已清除

  • 按名称或部分 ID 过滤任务

  • 使用网格上方的下拉菜单选择运行范围,例如“最近 25 次运行”

每行代表一个任务,每列代表一次 DAG 运行。您可以将鼠标悬停在任何任务实例上以查看更多详情,或单击以深入查看日志和元数据。

Grid View showing DAG run status matrix with varied task states (Dark Mode)

Grid View showing DAG run status matrix with varied task states (Light Mode)

图视图

图视图显示了 DAG 的逻辑结构——任务如何连接、运行顺序以及分支或重试如何配置。

此视图在以下情况有用

  • 调试任务未运行的原因(例如,因触发规则被跳过)

  • 理解复杂管道中的任务依赖项

  • 检查运行特定的任务状态(例如,成功、失败、上游失败)

每个节点代表一个任务。边显示它们之间的依赖关系。您可以单击任何任务来查看其元数据和最近的运行历史。

使用顶部的下拉菜单在 DAG 运行之间切换,并查看任务状态在不同执行中如何变化。

Graph View showing DAG structure with no DAG run selected (Dark Mode)

Graph View showing DAG structure with no DAG run selected (Light Mode)

DAG 选项卡

除了网格视图和图视图等交互式视图外,DAG 详情页还包括其他几个选项卡,提供更深入的洞察和元数据

运行选项卡

运行选项卡显示所有 DAG 运行的可排序表格,以及它们的状态、执行时长、运行类型和 DAG 版本。

DAG Runs Tab (Dark Mode)

DAG Runs Tab (Light Mode)

任务选项卡

任务选项卡显示 DAG 中每个任务的元数据,包括 operator 类型、触发规则、最近运行状态和运行历史。

DAG Tasks Tab (Dark Mode)

DAG Tasks Tab (Light Mode)

事件选项卡

事件选项卡显示与 DAG 相关的结构化事件,例如 DAG 触发和版本补丁。此选项卡对于 DAG 版本管理和故障排除更改特别有用。

DAG Events Tab (Dark Mode)

DAG Events Tab (Light Mode)

代码选项卡

代码选项卡显示 DAG 定义的当前版本,包括上次解析的时间戳。用户可以查看任何特定 DAG 版本的代码。

DAG Code Tab (Dark Mode)

DAG Code Tab (Light Mode)

详情选项卡

详情选项卡提供 DAG 的配置详情和元数据,包括调度、文件位置、并发限制和版本标识符。

DAG Details Tab (Dark Mode)

DAG Details Tab (Light Mode)

DAG 运行视图

每个 DAG 运行都有其自己的视图,通过在 DAG 的运行选项卡中选择特定行来访问。DAG 运行视图显示有关所选运行的元数据,以及任务级别详细信息、渲染的代码等。

DAG Run - Task Instances tab (dark mode)

关键元素包括

  • DAG 运行元数据,包括逻辑日期、运行类型、时长、DAG 版本和解析时间

  • 清除或标记运行或添加注释的操作按钮

  • 一个持久的网格视图侧边栏,显示最近 DAG 运行中的任务时长和状态。这有助于快速发现重复出现的问题或性能趋势。

DAG 运行选项卡

任务实例

显示 DAG 运行中每个任务实例的状态和元数据。列包括

  • 任务 ID

  • 状态

  • 开始和结束日期

  • 尝试次数

  • Operator 类型

  • 时长

  • DAG 版本

每行还包括一个迷你甘特图风格的时间线,以视觉方式表示任务的时长。

DAG Run - Task Instances (light mode)

事件

如果可用,此选项卡列出促成此 DAG 运行执行的系统级别或资产触发事件。

代码

显示此运行被解析时的 DAG 源代码。此视图有助于调试版本漂移或比较使用不同代码的 DAG 运行之间的行为。

hello >> airflow() 的 DAG 运行代码

DAG Run Code Snapshot - airflow() (dark mode)

DAG Run Code Snapshot - airflow() (light mode)

hello >> world() 的 DAG 运行代码

DAG Run Code Snapshot - world() (dark mode)

DAG Run Code Snapshot - world() (light mode)

详情

提供 DAG 运行的扩展元数据,包括

  • 运行 ID 和触发类型

  • 排队时间、开始和结束时间以及时长

  • 数据区间边界

  • 触发源和运行配置

  • DAG 版本 ID 和捆绑包名称

DAG Run - Details tab (dark mode)

DAG Run - Details tab (light mode)

图视图

显示 DAG 的任务依赖结构,并叠加此特定运行中每个任务的状态。这对于任务失败路径的可视化调试或识别下游阻塞非常有用。

每个节点包含任务时长的可视化指示器。

DAG Run - Graph View (dark mode)

DAG Run - Graph View (light mode)

任务实例视图

当您从 DAG 运行视图中点击特定任务时,将进入任务实例视图,其中显示该单个任务执行的详细日志和元数据。

Task Logs (dark mode)

任务实例选项卡

每个任务实例都有一个选项卡式视图,提供对日志、渲染的模板、XComs 和执行元数据的访问。

日志

默认选项卡显示任务日志,包括系统输出、错误消息和跟踪信息。这是任务失败时首先要查看的地方。

Task Logs (light mode)

渲染的模板

显示任务中模板化字段的渲染版本。对于调试上下文变量或验证动态内容非常有用。

XCom

显示通过 XCom.push() 推送的任何值或使用 TaskFlow 时 Python 函数返回的值。

Task Instance - XCom tab (dark mode)

Task Instance - XCom tab (light mode)

事件

如果存在,显示与此特定任务实例执行相关的事件。

代码

显示执行时解析的 DAG 源代码。这有助于验证任务运行时使用的 DAG 版本。

详情

显示有关任务实例的运行时元数据,包括

  • 任务 ID 和状态

  • DAG 运行 ID、DAG 版本和捆绑包名称

  • 使用的 Operator 和运行时长

  • Pool 和 slot 使用情况

  • Executor 和配置

Task Instance - Details tab (dark mode)

Task Instance - Details tab (light mode)

资产视图

资产部分提供了一个专门的界面来监控和调试以资产为中心的工作流。资产代表逻辑数据单元,例如文件、表格或模型,任务可以生成或消费这些单元。Airflow 跟踪这些依赖关系并提供可视化,以便更好地理解它们的编排。

资产列表

资产列表显示所有已知资产,按名称分组。对于每个资产,您可以看到

  • 资产所属的组(如果有)

  • 消费该资产的 DAG

  • 生成该资产的任务

将鼠标悬停在 DAG 或任务计数上会显示一个工具提示,其中包含生产者或消费者的完整列表。

Asset Graph View (dark mode)

Asset Graph View (light mode)

点击链接会将您带到资产图视图。

资产图视图

资产图视图显示资产的上下文,包括上游生产者和下游消费者。您可以使用此视图来

  • 了解资产谱系和相关的 DAG

  • 手动触发资产事件

  • 查看最近的资产事件以及它们触发的 DAG 运行

Asset Graph View (dark mode)

Asset Graph View (light mode)

DAG 视图中的图叠加层

当 DAG 包含生成资产或消费资产的任务时,您可以在 DAG 图视图上启用资产叠加层。切换每个资产旁边的开关以

  • 查看资产如何在 DAG 之间流动

  • 检查资产触发的依赖关系

有两种图模式可用

  • 所有 DAG 依赖项:显示所有 DAG 到 DAG 和任务级别的连接

    DAG Graph View - All Dependencies (dark mode)

    DAG Graph View - All Dependencies (light mode)

  • 外部条件:仅显示通过资产事件触发的 DAG

    DAG Graph View - External Conditions Only (dark mode)

    DAG Graph View - External Conditions Only (light mode)

管理视图

管理选项卡提供系统级工具,用于配置和扩展 Airflow。这些视图主要面向负责部署、集成和性能调优的管理员和平台操作员。

主要页面包括

  • 变量 – 存储可从 DAG 访问的键值对。变量可用于管理环境特定的参数或密钥。

  • 连接 – 定义到外部系统(如数据库、云服务或 API)的连接 URI。这些由 Airflow operators 和 hooks 消费。

  • Pools – 通过限制分配给指定 pool 的并发运行任务数量来控制资源分配。对于管理争用或配额受限系统非常有用。

  • Providers – 查看已安装的 provider 软件包(例如,apache-airflow-providers-google),包括可用的 hooks、sensors 和 operators。这对于验证 provider 版本或故障排除导入错误非常有用。

  • 插件 – 检查通过自定义 operators、macros 或 UI 元素扩展平台的已注册 Airflow 插件。

  • 配置 – 查看从 airflow.cfg、环境变量或覆盖的默认值解析的完整有效 Airflow 配置。这有助于调试与 scheduler 行为、密钥后端等相关的问题。

注意

管理选项卡仅对具有适当 RBAC 权限的用户可见。


_images/variable_hidden.png
_images/admin_connections.png
_images/admin_connections_add.png

此条目有用吗?