`airflow.providers.amazon.aws.sensors.batch`¶

模块内容¶

类¶

`BatchSensor`	轮询 Batch 作业的状态，直到它达到最终状态；如果作业失败，则失败。
`BatchComputeEnvironmentSensor`	轮询 Batch 环境的状态，直到它达到最终状态；如果环境失败，则失败。
`BatchJobQueueSensor`	轮询 Batch 作业队列的状态，直到它达到最终状态；如果队列失败，则失败。

class airflow.providers.amazon.aws.sensors.batch.BatchSensor(*, job_id, aws_conn_id='aws_default', region_name=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poke_interval=30, max_retries=4200, **kwargs)[源]¶

基类: airflow.sensors.base.BaseSensorOperator

轮询 Batch 作业的状态，直到它达到最终状态；如果作业失败，则失败。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 AWS Batch 作业状态

参数

job_id (str) – 要检查其状态的 Batch job_id
aws_conn_id (str | None) – 要使用的 aws 连接，默认为 ‘aws_default’。如果此值为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。
region_name (str | None) – 与客户端关联的 aws 区域名称
deferrable (bool) – 在可延迟模式下运行传感器。
poke_interval (float) – 轮询作业状态的间隔时间（以秒为单位）。
max_retries (int) – 在返回当前状态之前轮询作业状态的次数。

template_fields: collections.abc.Sequence[str] = ('job_id',)[源]¶

template_ext: collections.abc.Sequence[str] = ()[源]¶

ui_color = '#66c3ff'[源]¶

poke(context)[源]¶

在派生此类时覆盖。

execute(context)[源]¶

创建操作符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[源]¶

在触发器触发时执行 - 立即返回。

依赖触发器抛出异常，否则假设执行成功。

hook()[源]¶

class airflow.providers.amazon.aws.sensors.batch.BatchComputeEnvironmentSensor(compute_environment, aws_conn_id='aws_default', region_name=None, **kwargs)[源]¶

基类: airflow.sensors.base.BaseSensorOperator

轮询 Batch 环境的状态，直到它达到最终状态；如果环境失败，则失败。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 AWS Batch 计算环境状态

参数

compute_environment (str) – Batch 计算环境名称
aws_conn_id (str | None) – 要使用的 aws 连接，默认为 ‘aws_default’。如果此值为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。
region_name (str | None) – 与客户端关联的 aws 区域名称

template_fields: collections.abc.Sequence[str] = ('compute_environment',)[源]¶

template_ext: collections.abc.Sequence[str] = ()[源代码]¶

ui_color = '#66c3ff'[源代码]¶

hook()[源代码]¶

创建并返回一个 BatchClientHook。

poke(context)[源代码]¶

在派生此类时覆盖。

class airflow.providers.amazon.aws.sensors.batch.BatchJobQueueSensor(job_queue, treat_non_existing_as_deleted=False, aws_conn_id='aws_default', region_name=None, **kwargs)[源代码]¶

基类: airflow.sensors.base.BaseSensorOperator

轮询 Batch 作业队列的状态，直到它达到最终状态；如果队列失败，则失败。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 AWS Batch 作业队列状态

参数

job_queue (str) – Batch 作业队列名称
treat_non_existing_as_deleted (bool) – 如果为 True，则不存在的 Batch 作业队列被视为已删除的队列，因此是一种有效的情况。
aws_conn_id (str | None) – 要使用的 aws 连接，默认为 ‘aws_default’。如果此值为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。
region_name (str | None) – 与客户端关联的 aws 区域名称