`airflow.providers.openlineage.plugins.adapter`¶

模块内容¶

类¶

OpenLineageAdapter

将 Airflow 元数据转换为 OpenLineage 事件，而不是从 Airflow 代码创建它们。

class airflow.providers.openlineage.plugins.adapter.OpenLineageAdapter(client=None, secrets_masker=None)[source]¶

基类: airflow.utils.log.logging_mixin.LoggingMixin

将 Airflow 元数据转换为 OpenLineage 事件，而不是从 Airflow 代码创建它们。

get_or_create_openlineage_client()[source]¶

get_openlineage_config()[source]¶

static build_dag_run_id(dag_id, logical_date, clear_number)[source]¶

static build_task_instance_run_id(dag_id, task_id, try_number, logical_date, map_index)[source]¶

emit(event)[source]¶

发出 OpenLineage 事件。

参数: event (openlineage.client.event_v2.RunEvent) – 要发出的事件。
返回: 已编辑的事件。

start_task(run_id, job_name, job_description, event_time, parent_job_name, parent_run_id, code_location, nominal_start_time, nominal_end_time, owners, task, run_facets=None)[source]¶

发出类型为 START 的 openlineage 事件。

参数

run_id (str) – dag 运行中任务的全局唯一标识符
job_name (str) – dag 中任务的全局唯一标识符
job_description (str) – 用户提供的作业描述
event_time (str) –
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 生成此任务的作业的标识符
code_location (str | None) – DAG 文件的文件路径或 URL
nominal_start_time (str | None) – dag 运行的计划时间
nominal_end_time (str | None) – 在 dag 运行的计划之后
owners (list[str]) – DAG 的所有者列表
task (airflow.providers.openlineage.extractors.OperatorLineage | None) – 包含从运算符提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 自定义运行切面

complete_task(run_id, job_name, parent_job_name, parent_run_id, end_time, task, run_facets=None)[source]¶

发出类型为 COMPLETE 的 openlineage 事件。

参数

run_id (str) – dag 运行中任务的全局唯一标识符
job_name (str) – DAG 之间任务的全局唯一标识符
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 生成此任务的作业的标识符
end_time (str) – 任务完成时间
task (airflow.providers.openlineage.extractors.OperatorLineage) – 包含从运算符提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 额外的运行切面

fail_task(run_id, job_name, parent_job_name, parent_run_id, end_time, task, error=None, run_facets=None)[source]¶

发出类型为 FAIL 的 openlineage 事件。

参数

run_id (str) – dag 运行中任务的全局唯一标识符
job_name (str) – DAG 之间任务的全局唯一标识符
parent_job_name (str | None) – 父作业的名称（通常是 DAG，但也可能是任务组）
parent_run_id (str | None) – 生成此任务的作业的标识符
end_time (str) – 任务完成时间
task (airflow.providers.openlineage.extractors.OperatorLineage) – 包含从运算符提取的信息的元数据容器
run_facets (dict[str, openlineage.client.facet_v2.RunFacet] | None) – 自定义运行切面
error (str | BaseException | None) – 错误
run_facets – 额外的运行方面

dag_started(dag_id, logical_date, start_date, nominal_start_time, nominal_end_time, owners, run_facets, clear_number, description=None, job_facets=None)[源代码]¶

dag_success(dag_id, run_id, end_date, logical_date, clear_number, dag_run_state, task_ids)[源代码]¶

dag_failed(dag_id, run_id, end_date, logical_date, clear_number, dag_run_state, task_ids, msg)[源代码]¶

airflow.providers.openlineage.plugins.adapter¶

模块内容¶

类¶

`airflow.providers.openlineage.plugins.adapter`¶