airflow.example_dags.example_dataset_alias

示例 DAG,用于演示 Airflow 中 DatasetAlias 功能的行为,包括条件和基于数据集表达式的调度。

关于用法的说明

打开所有 DAG。

在运行任何 DAG 之前,“dataset_alias_example_alias_consumer” DAG 的计划将显示为“未解析的 DatasetAlias”。 这是预期的,因为数据集别名尚未解析为任何数据集。

一旦触发“dataset_s3_bucket_producer” DAG,“dataset_s3_bucket_consumer” DAG 应该在完成后被触发。这是因为在“produce_dataset_events_through_dataset_alias”任务期间,数据集别名“example-alias”用于向数据集“s3://bucket/my-task”添加数据集事件。由于 DAG “dataset-alias-consumer” 依赖于之前未解析的数据集别名“example-alias”,因此 DAG “dataset-alias-consumer”(以及同一文件中的所有 DAG)将被重新解析,从而将其计划更新为数据集“s3://bucket/my-task”,并且也会被触发。

模块内容

函数

produce_dataset_events()

produce_dataset_events_through_dataset_alias(*[, ...])

consume_dataset_event()

consume_dataset_event_from_dataset_alias(*[, inlet_events])

airflow.example_dags.example_dataset_alias.produce_dataset_events()[source]
airflow.example_dags.example_dataset_alias.produce_dataset_events_through_dataset_alias(*, outlet_events=None)[source]
airflow.example_dags.example_dataset_alias.consume_dataset_event()[source]
airflow.example_dags.example_dataset_alias.consume_dataset_event_from_dataset_alias(*, inlet_events=None)[source]

此条目是否有帮助?