tests.system.databricks.example_databricks¶
这是一个使用 DatabricksSubmitRunOperator 的示例 DAG。在此示例中，我们创建两个按顺序执行的任务。第一个任务是运行位于工作区路径“/test”的笔记本，第二个任务是运行上传到 DBFS 的 JAR。这两个任务都使用新的集群。
因为我们已在笔记本任务上设置了下游依赖项，所以只有在笔记本任务成功完成后，spark jar 任务才会运行。
成功运行的定义是运行的 result_state 为“SUCCESS”。有关运行状态的更多信息，请参阅 https://docs.databricks.com/api/latest/jobs.html#runstate