airflow.providers.databricks.plugins.databricks_workflow

模块内容

类

WorkflowJobRunLink

构建一个链接来监控 Databricks 作业运行。

WorkflowJobRepairAllFailedLink

构建一个链接来发送请求以修复 Databricks 工作流中所有失败的任务。

WorkflowJobRepairSingleTaskLink

构建一个链接来发送针对单个 Databricks 任务的修复请求。

RepairDatabricksTasks

从 Airflow 修复 Databricks 任务。

DatabricksWorkflowPlugin

用于 Airflow 的 Databricks 工作流插件。

函数

get_auth_decorator()

get_databricks_task_ids(group_id, task_map, log)

返回一个 Airflow 任务字典的所有 Databricks 任务 ID 的列表。

get_launch_task_id(task_group)

从当前任务组或父任务组递归检索启动任务 ID。

get_task_instance(operator, dttm[, session])

get_xcom_result(ti_key, key)

属性

REPAIR_WAIT_ATTEMPTS

REPAIR_WAIT_DELAY

airflow_app

repair_databricks_view

repair_databricks_package

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_ATTEMPTS[source]
airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_DELAY[source]
airflow.providers.databricks.plugins.databricks_workflow.airflow_app[source]
airflow.providers.databricks.plugins.databricks_workflow.get_auth_decorator()[source]
airflow.providers.databricks.plugins.databricks_workflow.get_databricks_task_ids(group_id, task_map, log)[source]

返回一个 Airflow 任务字典的所有 Databricks 任务 ID 的列表。

参数

  • group_id (str) – 任务组 ID。

  • task_map (dict[str, airflow.models.BaseOperator]) – 一个将任务 ID 映射到 BaseOperator 实例的字典。

  • log (logging.Logger) – 用于日志记录的记录器。

返回

给定任务组的 Databricks 任务 ID 列表。

返回类型

list[str]

airflow.providers.databricks.plugins.databricks_workflow.get_launch_task_id(task_group)[source]

从当前任务组或父任务组递归检索启动任务 ID。

参数

task_group (airflow.utils.task_group.TaskGroup) – 要检查的任务组

返回

启动任务 ID

返回类型

str

airflow.providers.databricks.plugins.databricks_workflow.get_task_instance(operator, dttm, session=NEW_SESSION)[source]
airflow.providers.databricks.plugins.databricks_workflow.get_xcom_result(ti_key, key)[source]

基类：airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个链接来监控 Databricks 作业运行。

name = '查看 Databricks 作业运行'[source]

链接到外部系统。

注意：此函数的旧签名是 (self, operator, dttm: datetime)。这在运行时仍然受支持，但已弃用。

参数

  • operator (airflow.models.BaseOperator) – 此链接关联的 Airflow 操作符对象。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 用于返回链接的 TaskInstance ID。

返回

链接到外部系统

返回类型

str

基类：airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个链接来发送请求以修复 Databricks 工作流中所有失败的任务。

name = '修复所有失败的任务'[source]

链接到外部系统。

注意：此函数的旧签名是 (self, operator, dttm: datetime)。这在运行时仍然受支持，但已弃用。

参数

  • operator – 与此链接关联的 Airflow 操作符对象。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 用于返回链接的 TaskInstance ID。

返回

链接到外部系统

返回类型

str

classmethod get_task_group_children(task_group)[source]

给定一个 TaskGroup，返回其子项（Tasks），并递归检查其中的任何 TaskGroup。

参数

task_group (airflow.utils.task_group.TaskGroup) – 一个 Airflow TaskGroup

返回

包含任务 ID 作为键，任务作为值的字典。

返回类型

dict[str, airflow.models.BaseOperator]

get_tasks_to_run(ti_key, operator, log)[source]

基类：airflow.models.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个链接来发送针对单个 Databricks 任务的修复请求。

name = '修复单个任务'[source]

链接到外部系统。

注意：此函数的旧签名是 (self, operator, dttm: datetime)。这在运行时仍然受支持，但已弃用。

参数

  • operator – 与此链接关联的 Airflow 操作符对象。

  • ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 用于返回链接的 TaskInstance ID。

返回

链接到外部系统

返回类型

str

class airflow.providers.databricks.plugins.databricks_workflow.RepairDatabricksTasks[source]

基类：airflow.www.views.AirflowBaseView, airflow.utils.log.logging_mixin.LoggingMixin

从 Airflow 修复 Databricks 任务。

default_view = 'repair'[source]
repair(dag_id, run_id)[source]
airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_view[source]
airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_package[source]
class airflow.providers.databricks.plugins.databricks_workflow.DatabricksWorkflowPlugin[source]

基类：airflow.plugins_manager.AirflowPlugin

用于 Airflow 的 Databricks 工作流插件。

另请参阅

有关如何使用此插件的更多信息，请查看以下指南：DatabricksWorkflowPlugin

name = 'databricks_workflow'[source]
appbuilder_views[source]

此条目是否有帮助？