airflow.providers.databricks.plugins.databricks_workflow¶

属性¶

`REPAIR_WAIT_ATTEMPTS`
`REPAIR_WAIT_DELAY`
`repair_databricks_view`
`repair_databricks_package`

类¶

`WorkflowJobRunLink`	构建一个用于监控 Databricks 作业运行的链接。
`WorkflowJobRepairAllFailedLink`	构建一个链接，用于发送请求以修复 Databricks 工作流中所有失败的任务。
`WorkflowJobRepairSingleTaskLink`	构建一个链接，用于发送请求以修复单个 Databricks 任务。
`RepairDatabricksTasks`	从 Airflow 修复 Databricks 任务。
`DatabricksWorkflowPlugin`	Airflow 的 Databricks 工作流插件。

函数¶

`get_auth_decorator`()
`get_databricks_task_ids`(group_id, task_map, log)	返回 Airflow 任务字典中所有 Databricks 任务 ID 的列表。
`get_launch_task_id`(task_group)	递归地从当前任务组或父任务组中检索启动任务 ID。
`get_task_instance`(operator, dttm[, session])
`get_xcom_result`(ti_key, key)

模块内容¶

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_ATTEMPTS[source]¶

airflow.providers.databricks.plugins.databricks_workflow.REPAIR_WAIT_DELAY[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_auth_decorator()[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_databricks_task_ids(group_id, task_map, log)[source]¶

返回 Airflow 任务字典中所有 Databricks 任务 ID 的列表。

参数:

group_id (str) – 任务组 ID。
task_map (dict[str, airflow.providers.databricks.operators.databricks.DatabricksTaskBaseOperator]) – 一个将任务 ID 映射到 BaseOperator 实例的字典。
log (logging.Logger) – 用于日志记录的 Logger。

返回值:

给定任务组的 Databricks 任务 ID 列表。

返回类型:

list[str]

airflow.providers.databricks.plugins.databricks_workflow.get_launch_task_id(task_group)[source]¶

递归地从当前任务组或父任务组中检索启动任务 ID。

参数:: task_group (airflow.utils.task_group.TaskGroup) – 待检查的任务组
返回值:: 启动任务 ID
返回类型:: str

airflow.providers.databricks.plugins.databricks_workflow.get_task_instance(operator, dttm, session=NEW_SESSION)[source]¶

airflow.providers.databricks.plugins.databricks_workflow.get_xcom_result(ti_key, key)[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRunLink(context=None)[source]¶

继承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个用于监控 Databricks 作业运行的链接。

name = '查看 Databricks 作业运行'[source]¶: 链接名称。这将在任务 UI 上显示为按钮名称。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

链接到外部系统。

参数:

operator (airflow.models.BaseOperator) – 此链接关联的 Airflow operator 对象。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回链接的 TaskInstance ID。

返回值:

链接到外部系统

返回类型:

str

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRepairAllFailedLink(context=None)[source]¶

继承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个链接，用于发送请求以修复 Databricks 工作流中所有失败的任务。

name = '修复所有失败的任务'[source]¶: 链接名称。这将在任务 UI 上显示为按钮名称。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

链接到外部系统。

参数:

operator – 此链接关联的 Airflow operator 对象。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回链接的 TaskInstance ID。

返回值:

链接到外部系统

返回类型:

str

classmethod get_task_group_children(task_group)[source]¶

给定一个 TaskGroup，递归检查其中的任何 TaskGroups，返回作为 Task 的子项。

参数:: task_group (airflow.utils.task_group.TaskGroup) – 一个 Airflow TaskGroup
返回值:: 一个字典，其中包含作为键的任务 ID 和作为值的任务。
返回类型:: dict[str, airflow.models.BaseOperator]

get_tasks_to_run(ti_key, operator, log)[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.WorkflowJobRepairSingleTaskLink(context=None)[source]¶

继承自: airflow.sdk.BaseOperatorLink, airflow.utils.log.logging_mixin.LoggingMixin

构建一个链接，用于发送请求以修复单个 Databricks 任务。

name = '修复单个任务'[source]¶: 链接名称。这将在任务 UI 上显示为按钮名称。

get_link(operator, dttm=None, *, ti_key=None)[source]¶

链接到外部系统。

参数:

operator – 此链接关联的 Airflow operator 对象。
ti_key (airflow.models.taskinstance.TaskInstanceKey | None) – 要返回链接的 TaskInstance ID。

返回值:

链接到外部系统

返回类型:

str

class airflow.providers.databricks.plugins.databricks_workflow.RepairDatabricksTasks[source]¶

继承自: flask_appbuilder.BaseView, airflow.utils.log.logging_mixin.LoggingMixin

从 Airflow 修复 Databricks 任务。

default_view = 'repair'[source]¶: 此 BaseView 的默认视图，与 url_for (方法名) 一起使用

repair(dag_id, run_id)[source]¶

airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_view[source]¶

airflow.providers.databricks.plugins.databricks_workflow.repair_databricks_package[source]¶

class airflow.providers.databricks.plugins.databricks_workflow.DatabricksWorkflowPlugin[source]¶

继承自: airflow.plugins_manager.AirflowPlugin

Airflow 的 Databricks 工作流插件。

另请参阅

有关如何使用此插件的更多信息，请参阅指南：DatabricksWorkflowPlugin

name = 'databricks_workflow'[source]¶

operator_extra_links[source]¶

appbuilder_views[source]¶