DatabricksRunNowOperator

使用 DatabricksRunNowOperator 通过 api/2.1/jobs/run-now API 端点触发现有 Databricks 作业的运行。

使用操作符

有两种方法可以实例化此操作符。第一种方法是，您可以获取通常用于调用 api/2.1/jobs/run-now 端点的 JSON 有效负载，并将其直接传递给我们的 DatabricksRunNowOperator，通过 json 参数。

实现相同目的的另一种方法是直接使用 DatabricksRunNowOperator 的命名参数。请注意，jobs/run-now 端点中每个顶层参数都有一个对应的命名参数。

唯一必需的参数是以下两者之一：

  • job_id - 指定现有 Databricks 作业的 ID

  • job_name - 现有 Databricks 作业的名称。如果找不到作业，或者存在多个同名作业，则会抛出异常。

所有其他参数都是可选的，并在 DatabricksRunNowOperator 的文档中进行了描述。例如，您可以使用以下参数之一向作业传递其他参数，具体取决于作业中任务的类型：

  • notebook_params

  • python_params

  • python_named_parameters

  • jar_params

  • spark_submit_params

  • idempotency_token

  • repair_run

  • cancel_previous_runs

DatabricksRunNowDeferrableOperator

DatabricksRunNowOperator 操作符的可延迟版本。

它允许使用 Airflow 2.2.0 中引入的新功能，更有效地利用 Airflow 工作人员。

此条目是否有帮助？