airflow.providers.amazon.aws.triggers.sagemaker

SageMakerTrigger

SageMakerTrigger 作为可延迟类触发,带有在触发器中运行任务的参数。

SageMakerPipelineTrigger

用于等待 SageMaker 流水线执行完成的触发器。

模块内容

class airflow.providers.amazon.aws.triggers.sagemaker.SageMakerTrigger(job_name, job_type, poke_interval=30, max_attempts=480, aws_conn_id='aws_default')[source]

基类: airflow.triggers.base.BaseTrigger

SageMakerTrigger 作为可延迟类触发,带有在触发器中运行任务的参数。

参数:
  • job_name (str) – 要检查状态的作业名称

  • job_type (str) – SageMaker 作业类型,是转换(Transform)还是训练(Training)

  • poke_interval (int) – 检查状态的轮询周期(秒)

  • max_attempts (int) – 在返回当前状态之前查询状态的最大尝试次数,默认为 None。

  • aws_conn_id (str | None) – 用于 SageMaker 的 AWS 连接 ID

job_name[source]
job_type[source]
poke_interval = 30[source]
max_attempts = 480[source]
aws_conn_id = 'aws_default'[source]
serialize()[source]

序列化 SageMakerTrigger 参数和类路径。

property hook: airflow.providers.amazon.aws.hooks.sagemaker.SageMakerHook[source]
async run()[source]

在异步上下文中运行触发器。

当触发器想要触发事件时,应 yield 一个 Event;如果已完成,则返回 None。因此,单事件触发器应先 yield,然后立即返回。

如果 yield,它很可能很快被恢复,但也可能不会(例如,如果工作负载被移动到另一个触发器进程,或者多事件触发器用于单个事件的任务延迟)。

无论哪种情况,Trigger 类都应假设它们将被持久化,然后在不再需要时依赖于 cleanup() 的调用。

class airflow.providers.amazon.aws.triggers.sagemaker.SageMakerPipelineTrigger(waiter_type, pipeline_execution_arn, waiter_delay, waiter_max_attempts, aws_conn_id)[source]

基类: airflow.triggers.base.BaseTrigger

用于等待 SageMaker 流水线执行完成的触发器。

class Type[source]

基类: enum.IntEnum

要使用的等待器类型。

COMPLETE = 1[source]
STOPPED = 2[source]
waiter_type[source]
pipeline_execution_arn[source]
waiter_delay[source]
waiter_max_attempts[source]
aws_conn_id[source]
serialize()[source]

返回重建此触发器所需的信息。

返回:

(类路径,重新实例化所需的关键字参数) 的元组。

返回类型:

tuple[str, dict[str, Any]]

async run()[source]

在异步上下文中运行触发器。

当触发器想要触发事件时,应 yield 一个 Event;如果已完成,则返回 None。因此,单事件触发器应先 yield,然后立即返回。

如果 yield,它很可能很快被恢复,但也可能不会(例如,如果工作负载被移动到另一个触发器进程,或者多事件触发器用于单个事件的任务延迟)。

无论哪种情况,Trigger 类都应假设它们将被持久化,然后在不再需要时依赖于 cleanup() 的调用。

本条目有帮助吗?