airflow.providers.microsoft.azure.triggers.wasb

模块内容

WasbBlobSensorTrigger

检查给定 blob 在提供的容器中是否存在。

WasbPrefixSensorTrigger

检查在提供的容器中是否存在具有给定前缀的 blob。

class airflow.providers.microsoft.azure.triggers.wasb.WasbBlobSensorTrigger(container_name, blob_name, wasb_conn_id='wasb_default', public_read=False, poke_interval=5.0)[源代码]

基类: airflow.triggers.base.BaseTrigger

检查给定 blob 在提供的容器中是否存在。

WasbBlobSensorTrigger 作为延迟类触发,并带有参数以在触发器工作进程中运行任务。

参数
  • container_name (str) – 应该在其中搜索 blob 的容器名称

  • blob_name (str) – 要检查其存在的 blob 名称

  • wasb_conn_id (str) – 用于连接到 Azure WASB 的连接标识符

  • poke_interval (float) – 检查状态的轮询周期,以秒为单位

  • public_read (bool) – 是否应使用匿名公共读取访问权限。默认为 False

serialize()[源代码]

序列化 WasbBlobSensorTrigger 参数和类路径。

async run()[源代码]

建立到 Azure WASB 的异步连接,并轮询给定 blob 名称的存在。

class airflow.providers.microsoft.azure.triggers.wasb.WasbPrefixSensorTrigger(container_name, prefix, wasb_conn_id='wasb_default', check_options=None, public_read=False, poke_interval=5.0)[源代码]

基类: airflow.triggers.base.BaseTrigger

检查在提供的容器中是否存在具有给定前缀的 blob。

WasbPrefixSensorTrigger 作为延迟类触发,并带有参数以在触发器中运行任务。

参数
  • container_name (str) – 应该在其中搜索 blob 的容器名称

  • prefix (str) – 要检查其存在的 blob 的前缀

  • include – 指定要包含在响应中的一个或多个附加数据集。选项包括: snapshots, metadata, uncommittedblobs, copy, deleted

  • delimiter – 根据分隔符过滤对象(例如 ‘.csv’)

  • wasb_conn_id (str) – 用于连接到 Azure WASB 的连接标识符

  • check_options (dict | None) – WasbAsyncHook.check_for_prefix_async() 接受的可选关键字参数。

  • public_read (bool) – 是否应使用匿名公共读取访问权限。默认为 False

  • poke_interval (float) – 检查状态的轮询周期,以秒为单位

serialize()[源代码]

序列化 WasbPrefixSensorTrigger 参数和类路径。

async run()[源代码]

建立到 Azure WASB 的异步连接,并轮询是否存在具有给定前缀的 blob。

此条目是否有帮助?