传感器

传感器是一种特殊类型的 操作符,其设计目的就是做一件事 - 等待某些事情发生。它可以是基于时间的,也可以是等待文件或外部事件,但它们所做的就是等待直到发生某些事情,然后成功,以便它们的下游任务可以运行。

因为它们主要处于空闲状态,所以传感器有两种不同的运行模式,这样您就可以更有效地使用它们

  • poke(默认):传感器在其整个运行时间内占用一个工作槽

  • reschedule:传感器仅在检查时占用工作槽,并在检查之间休眠一段设定的时长

当您实例化传感器时,可以直接配置 pokereschedule 模式;一般来说,它们之间的权衡是延迟。每秒检查一次的内容应处于 poke 模式,而每分钟检查一次的内容应处于 reschedule 模式。

与操作符非常相似,Airflow 拥有大量预构建的传感器,您可以使用这些传感器,这些传感器既存在于 Airflow 核心中,也通过我们的提供程序系统存在。

这个条目有用吗?