DatabricksRunNowOperator

使用 DatabricksRunNowOperator 通过 api/2.1/jobs/run-now API 端点触发现有 Databricks 作业的运行。

使用运算符

有两种方式实例化此运算符。第一种方式是，您可以获取通常用于调用 api/2.1/jobs/run-now 端点的 JSON 负载，并通过 json 参数将其直接传递给我们的 DatabricksRunNowOperator。

另一种实现相同功能的方式是直接使用 DatabricksRunNowOperator 的命名参数。请注意，jobs/run-now 端点中的每个顶层参数都恰好对应一个命名参数。

唯一必需的参数是

  • job_id - 指定现有 Databricks 作业的 ID

  • job_name - 现有 Databricks 作业的名称。如果找不到作业，或者有多个同名作业，则会抛出异常。

所有其他参数都是可选的，并在 DatabricksRunNowOperator 的文档中描述。例如，您可以根据作业中任务的类型，使用以下参数之一将附加参数传递给作业

  • notebook_params

  • python_params

  • python_named_params

  • jar_params

  • spark_submit_params

  • idempotency_token

  • repair_run

  • cancel_previous_runs

DatabricksRunNowDeferrableOperator

`DatabricksRunNowOperator` 运算符的可推迟版本。

它允许使用 Airflow 2.2.0 中引入的新功能更有效地利用 Airflow worker。

本条目有帮助吗？