airflow.providers.openlineage.plugins.facets

模块内容

AirflowMappedTaskRunFacet

包含有关映射任务信息的运行方面。

AirflowJobFacet

复合 Airflow 作业方面。

AirflowStateRunFacet

提供状态信息的 Airflow 方面。

AirflowRunFacet

复合 Airflow 运行方面。

AirflowDagRunFacet

复合 Airflow DAG 运行方面。

AirflowDebugRunFacet

Airflow 调试运行方面。

UnknownOperatorInstance

描述一个未知的操作符。

UnknownOperatorAttributeRunFacet

描述 Airflow DAG 中未知操作符的 RunFacet。

class airflow.providers.openlineage.plugins.facets.AirflowMappedTaskRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

包含有关映射任务信息的运行方面。

mapIndex: int[源代码]
operatorClass: str[源代码]
classmethod from_task_instance(task_instance)[源代码]
class airflow.providers.openlineage.plugins.facets.AirflowJobFacet[源代码]

基类: openlineage.client.facet_v2.JobFacet

复合 Airflow 作业方面。

此方面封装了重新创建 Airflow DAG 逻辑的完整范围所需的所有必要信息,从而能够以全面的方式重建、可视化和分析 DAG。它包括任务、任务组及其层次关系的详细表示,使得可以绘制一个以图形方式表示整个 DAG 结构的图(如在 Airflow UI 中)。它还指示任务是否应该发出 OpenLineage (OL) 事件,使消费者能够预测事件的数量并识别他们可以从中期望这些事件的任务。

属性

taskTree:一个表示 DAG 中任务的层次结构的字典。 taskGroups:一个包含 DAG 中任务组信息的字典。 tasks:一个详细描述 DAG 中各个任务的字典。

taskTree: dict[源代码]
taskGroups: dict[源代码]
tasks: dict[源代码]
class airflow.providers.openlineage.plugins.facets.AirflowStateRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

提供状态信息的 Airflow 方面。

此方面旨在在完成事件时发送,提供有关 DAG 运行和每个单独任务的状态信息。此信息对于理解执行流程以及全面的运行后分析和调试至关重要,包括为什么某些任务没有发出事件,这可能是由于使用了诸如 BranchOperator 之类的控制流操作符导致的。

属性

dagRunState:这表示整个 DAG 运行的最终状态(例如,“成功”、“失败”)。 tasksState:一个将任务 ID 映射到它们各自状态的字典。(例如,“失败”、“跳过”)。

dagRunState: str[源代码]
tasksState: dict[str, str][源代码]
class airflow.providers.openlineage.plugins.facets.AirflowRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

复合 Airflow 运行方面。

dag: dict[源代码]
dagRun: dict[源代码]
task: dict[源代码]
taskInstance: dict[源代码]
taskUuid: str[源代码]
class airflow.providers.openlineage.plugins.facets.AirflowDagRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

复合 Airflow DAG 运行方面。

dag: dict[源代码]
dagRun: dict[源代码]
class airflow.providers.openlineage.plugins.facets.AirflowDebugRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

Airflow 调试运行方面。

packages: dict[源代码]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorInstance[源代码]

基类: openlineage.client.utils.RedactMixin

描述一个未知的操作符。

这指定了操作符的(类)名称及其属性。

name: str[源代码]
properties: dict[str, object][源代码]
type: str = 'operator'[源代码]
class airflow.providers.openlineage.plugins.facets.UnknownOperatorAttributeRunFacet[源代码]

基类: openlineage.client.facet_v2.RunFacet

描述 Airflow DAG 中未知操作符的 RunFacet。

unknownItems: list[UnknownOperatorInstance][源代码]

此条目是否有帮助?