airflow.providers.amazon.aws.triggers.s3

类

S3KeyTrigger

S3KeyTrigger 作为延迟类触发，带有参数，用于在触发器工作进程中运行任务。

S3KeysUnchangedTrigger

S3KeysUnchangedTrigger 作为延迟类触发，带有参数，用于在触发器工作进程中运行任务。

模块内容

class airflow.providers.amazon.aws.triggers.s3.S3KeyTrigger(bucket_name, bucket_key, wildcard_match=False, aws_conn_id='aws_default', poke_interval=5.0, should_check_fn=False, use_regex=False, region_name=None, verify=None, botocore_config=None, **hook_params)[source]

基类: airflow.triggers.base.BaseTrigger

S3KeyTrigger 作为延迟类触发，带有参数，用于在触发器工作进程中运行任务。

参数:

  • bucket_name (str) – S3 桶的名称。仅当 bucket_key 未提供为完整的 s3:// URL 时需要。

  • bucket_key (str | list[str]) – 等待的键。支持完整的 s3:// 风格 URL 或从根级别的相对路径。当指定为完整的 s3:// URL 时，请将 bucket_name 留空（None）。

  • wildcard_match (bool) – bucket_key 是否应被解释为 Unix 通配符模式

  • aws_conn_id (str | None) – s3 连接的引用

  • use_regex (bool) – 是否使用正则表达式检查桶

  • hook_params (Any) – hook 的参数，可选

bucket_name[source]
bucket_key[source]
wildcard_match = False[source]
aws_conn_id = 'aws_default'[source]
hook_params[source]
poke_interval = 5.0[source]
should_check_fn = False[source]
use_regex = False[source]
region_name = None[source]
verify = None[source]
botocore_config = None[source]
serialize()[source]

序列化 S3KeyTrigger 参数和类路径。

property hook: airflow.providers.amazon.aws.hooks.s3.S3Hook[source]
async run()[source]

使用 S3HookAsync 建立异步连接。

class airflow.providers.amazon.aws.triggers.s3.S3KeysUnchangedTrigger(bucket_name, prefix, inactivity_period=60 * 60, min_objects=1, inactivity_seconds=0, previous_objects=None, allow_delete=True, aws_conn_id='aws_default', last_activity_time=None, region_name=None, verify=None, botocore_config=None, **hook_params)[source]

基类: airflow.triggers.base.BaseTrigger

S3KeysUnchangedTrigger 作为延迟类触发，带有参数，用于在触发器工作进程中运行任务。

参数:

  • bucket_name (str) – S3 桶的名称。仅当 bucket_key 未提供为完整的 s3:// URL 时需要。

  • prefix (str) – 等待的前缀。从桶根级别的相对路径。

  • inactivity_period (float) – 指定键不变的总不活动秒数。注意，此机制不是实时的，此操作符可能在此期间过去且未检测到其他对象后的一个 poke_interval 之后才会返回。

  • min_objects (int) – 键不变传感器被视为有效所需的最小对象数。

  • inactivity_seconds (int) – 不活动秒数的引用

  • previous_objects (set[str] | None) – 上次探测期间找到的对象 ID 集合。

  • allow_delete (bool) – 此传感器是否应考虑正在删除的对象

  • aws_conn_id (str | None) – s3 连接的引用

  • last_activity_time (datetime.datetime | None) – 上次修改时间或上次活动时间

  • verify (bool | str | None) – 是否验证 S3 连接的 SSL 证书。默认情况下会验证 SSL 证书。

  • hook_params (Any) – hook 的参数，可选

bucket_name[source]
prefix[source]
inactivity_period = 3600[source]
min_objects = 1[source]
previous_objects = None[source]
inactivity_seconds = 0[source]
allow_delete = True[source]
aws_conn_id = 'aws_default'[source]
last_activity_time = None[source]
polling_period_seconds = 0[source]
region_name = None[source]
verify = None[source]
botocore_config = None[source]
hook_params[source]
serialize()[source]

序列化 S3KeysUnchangedTrigger 参数和类路径。

property hook: airflow.providers.amazon.aws.hooks.s3.S3Hook[source]
async run()[source]

使用 S3Hook 建立异步连接。

此条目是否有帮助？