airflow.providers.microsoft.azure.triggers.wasb

WasbBlobSensorTrigger

检查给定 Blob 在提供的容器中是否存在。

WasbPrefixSensorTrigger

检查具有给定前缀的 Blob 在提供的容器中是否存在。

模块内容

class airflow.providers.microsoft.azure.triggers.wasb.WasbBlobSensorTrigger(container_name, blob_name, wasb_conn_id='wasb_default', public_read=False, poke_interval=5.0)[source]

基类: airflow.triggers.base.BaseTrigger

检查给定 Blob 在提供的容器中是否存在。

WasbBlobSensorTrigger 作为延迟类触发,带有参数以在触发器工作进程中运行任务。

参数:
  • container_name (str) – 应搜索 Blob 的容器名称

  • blob_name (str) – 要检查是否存在的 Blob 名称

  • wasb_conn_id (str) – 连接到 Azure WASB 的连接标识符

  • poke_interval (float) – 检查状态的轮询间隔(秒)

  • public_read (bool) – 是否应使用匿名公共读访问。默认为 False

container_name[source]
blob_name[source]
wasb_conn_id = 'wasb_default'[source]
poke_interval = 5.0[source]
public_read = False[source]
serialize()[source]

序列化 WasbBlobSensorTrigger 参数和类路径。

async run()[source]

异步连接到 Azure WASB 并轮询给定 Blob 名称是否存在。

class airflow.providers.microsoft.azure.triggers.wasb.WasbPrefixSensorTrigger(container_name, prefix, wasb_conn_id='wasb_default', check_options=None, public_read=False, poke_interval=5.0)[source]

基类: airflow.triggers.base.BaseTrigger

检查具有给定前缀的 Blob 在提供的容器中是否存在。

WasbPrefixSensorTrigger 作为延迟类触发,带有参数以在触发器工作进程中运行任务。

参数:
  • container_name (str) – 应搜索 Blob 的容器名称

  • prefix (str) – 要检查是否存在的 Blob 前缀

  • include – 指定要包含在响应中的一个或多个附加数据集。选项包括:snapshots, metadata, uncommittedblobs, copy, deleted

  • delimiter – 基于分隔符过滤对象(例如 '.csv')

  • wasb_conn_id (str) – 连接到 Azure WASB 的连接标识符

  • check_options (dict | None) – WasbAsyncHook.check_for_prefix_async() 方法接受的可选关键字参数。

  • public_read (bool) – 是否应使用匿名公共读访问。默认为 False

  • poke_interval (float) – 检查状态的轮询间隔(秒)

container_name[source]
prefix[source]
wasb_conn_id = 'wasb_default'[source]
check_options = None[source]
poke_interval = 5.0[source]
public_read = False[source]
serialize()[source]

序列化 WasbPrefixSensorTrigger 参数和类路径。

async run()[source]

异步连接到 Azure WASB 并轮询具有给定前缀的 Blob 是否存在。

此条目有帮助吗?