airflow.providers.amazon.aws.triggers.sagemaker

模块内容

SageMakerTrigger

SageMakerTrigger 是一个延迟类,带有参数在触发器中运行任务。

SageMakerPipelineTrigger

触发器,用于等待 SageMaker 管道执行完成。

class airflow.providers.amazon.aws.triggers.sagemaker.SageMakerTrigger(job_name, job_type, poke_interval=30, max_attempts=480, aws_conn_id='aws_default')[源代码]

基类: airflow.triggers.base.BaseTrigger

SageMakerTrigger 是一个延迟类,带有参数在触发器中运行任务。

参数
  • job_name (str) – 要检查状态的作业的名称

  • job_type (str) – SageMaker 作业的类型,是转换还是训练

  • poke_interval (int) – 轮询状态的间隔时间,以秒为单位

  • max_attempts (int) – 在返回当前状态之前轮询查询状态的次数,默认为 None。

  • aws_conn_id (str | None) – 用于 SageMaker 的 AWS 连接 ID

serialize()[源代码]

序列化 SageMakerTrigger 参数和类路径。

hook()[源代码]
async run()[源代码]

在异步上下文中运行触发器。

触发器应在想要触发事件时产生一个 Event,并在完成时返回 None。因此,单事件触发器应该先产生然后立即返回。

如果它产生,它很可能会很快恢复,但也可能不会(例如,如果工作负载正在转移到另一个触发器进程,或者多事件触发器正在用于单事件任务延迟)。

在任何情况下,Trigger 类都应该假设它们将被持久化,然后依赖于在不再需要时调用 cleanup()。

class airflow.providers.amazon.aws.triggers.sagemaker.SageMakerPipelineTrigger(waiter_type, pipeline_execution_arn, waiter_delay, waiter_max_attempts, aws_conn_id)[源代码]

基类: airflow.triggers.base.BaseTrigger

触发器,用于等待 SageMaker 管道执行完成。

class Type[源代码]

基类: enum.IntEnum

要使用的等待器类型。

COMPLETE = 1[源代码]
STOPPED = 2[源代码]
serialize()[源代码]

返回重建此触发器所需的信息。

返回

(类路径,重新实例化所需的关键字参数)的元组。

返回类型

tuple[str, dict[str, Any]]

async run()[源代码]

在异步上下文中运行触发器。

触发器应在想要触发事件时产生一个 Event,并在完成时返回 None。因此,单事件触发器应该先产生然后立即返回。

如果它产生,它很可能会很快恢复,但也可能不会(例如,如果工作负载正在转移到另一个触发器进程,或者多事件触发器正在用于单事件任务延迟)。

在任何情况下,Trigger 类都应该假设它们将被持久化,然后依赖于在不再需要时调用 cleanup()。

此条目是否对您有帮助?