DatabricksWorkflowPlugin¶
概述¶
DatabricksWorkflowPlugin 通过为任务提供链接来增强 Airflow UI，允许用户在 Databricks 工作区中查看 Databricks 作业运行。此外，它还提供在工作流中修复任务的链接。
功能¶
任务级别链接: 在工作流中，每个任务都包含指向作业运行的链接以及用于修复单个任务的链接。
工作流级别链接: 在工作流级别，对于作业启动任务，插件提供了修复所有失败任务的链接以及指向 Databricks 工作区中作业运行的链接（允许用户在 Databricks 帐户中监控作业）。
示例¶
单个任务的作业运行链接和修复链接:
工作流级别链接，用于指向作业运行和修复所有失败任务:
注意¶
Databricks 不允许修复在工作流外部启动的单个任务的作业。因此，对于这些任务，仅提供作业运行链接。
用法¶
理想情况下，安装 provider 也将安装此插件，并且它应该在您的部署中自动工作。但是，如果自定义配置阻止了插件的使用，请确保在您的 Airflow 环境中正确安装和配置了此插件以利用其功能。由于链接已嵌入到相关的 operators 中，因此插件将自动检测 Databricks 作业。