• 主页
• airflow.providers.amazon
• airflow.providers.amazon.aws
• airflow.providers.amazon.aws.sensors
• airflow.providers.amazon.aws.sensors.bedrock

airflow.providers.amazon.aws.sensors.bedrock

类

BedrockBaseSensor	Amazon Bedrock 的通用传感器行为。
BedrockCustomizeModelCompletedSensor	轮询模型定制作业的状态，直到达到终端状态；如果作业失败则标记失败。
BedrockProvisionModelThroughputCompletedSensor	轮询预置模型吞吐量作业，直到达到终端状态；如果作业失败则标记失败。
BedrockKnowledgeBaseActiveSensor	轮询知识库状态，直到达到终端状态；如果创建失败则标记失败。
BedrockIngestionJobSensor	轮询注入作业状态，直到达到终端状态；如果创建失败则标记失败。
BedrockBatchInferenceSensor	轮询批量推理作业状态，直到达到终端状态；如果创建失败则标记失败。

模块内容

class airflow.providers.amazon.aws.sensors.bedrock.BedrockBaseSensor(deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[_GenericBedrockHook]

Amazon Bedrock 的通用传感器行为。

子类必须实现以下方法

• get_state()

子类必须设置以下字段

• INTERMEDIATE_STATES

• FAILURE_STATES

• SUCCESS_STATES

• FAILURE_MESSAGE

参数:

deferrable (bool) – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()

FAILURE_STATES: tuple[str, Ellipsis] = ()

SUCCESS_STATES: tuple[str, Ellipsis] = ()

FAILURE_MESSAGE = ''

aws_hook_class: type[_GenericBedrockHook]

ui_color = '#66c3ff'

deferrable = True

poke(context, **kwargs)

派生此类时重写此方法。

abstract get_state()

在子类中实现。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockCustomizeModelCompletedSensor(*, job_name, max_retries=75, poke_interval=120, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

轮询模型定制作业的状态，直到达到终端状态；如果作业失败则标记失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南： 等待 Amazon Bedrock 定制模型作业

参数:

• job_name (str) – Bedrock 模型定制作业的名称。

• deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

• poke_interval (int) – 检查作业状态的轮询周期（秒）。（默认为 120）

• max_retries (int) – 返回当前状态之前的重试次数。（默认为 75）

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或空字符串，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('InProgress',)

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed', 'Stopping', 'Stopped')

SUCCESS_STATES: tuple[str, Ellipsis] = ('Completed',)

FAILURE_MESSAGE = 'Bedrock model customization job sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 120

max_retries = 75

job_name

execute(context)

创建 Operator 时派生此方法。

执行任务的主要方法。Context 与用于渲染 jinja 模板的字典相同。

更多上下文请参阅 get_template_context。

get_state()

在子类中实现。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockProvisionModelThroughputCompletedSensor(*, model_id, poke_interval=60, max_retries=20, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

轮询预置模型吞吐量作业，直到达到终端状态；如果作业失败则标记失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南： 等待 Amazon Bedrock 预置模型吞吐量作业

参数:

• model_id (str) – 预置吞吐量的 ARN 或名称。

• deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

• poke_interval (int) – 检查作业状态的轮询周期（秒）。（默认为 60）

• max_retries (int) – 返回当前状态之前的重试次数（默认为 20）

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或空字符串，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('Creating', 'Updating')

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed',)

SUCCESS_STATES: tuple[str, Ellipsis] = ('InService',)

FAILURE_MESSAGE = 'Bedrock provision model throughput sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 60¶

max_retries = 20

model_id

get_state()

在子类中实现。

execute(context)

创建 Operator 时派生此方法。

执行任务的主要方法。Context 与用于渲染 jinja 模板的字典相同。

更多上下文请参阅 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockKnowledgeBaseActiveSensor(*, knowledge_base_id, poke_interval=5, max_retries=24, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockAgentHook]

轮询知识库状态，直到达到终端状态；如果创建失败则标记失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南： 等待 Amazon Bedrock 知识库

参数:

• knowledge_base_id (str) – 要获取信息的知识库的唯一标识符。（模板化）

• deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

• poke_interval (int) – 检查作业状态的轮询周期（秒）。（默认为 5）

• max_retries (int) – 返回当前状态之前的重试次数（默认为 24）

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或空字符串，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('CREATING', 'UPDATING')

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'FAILED')

SUCCESS_STATES: tuple[str, Ellipsis] = ('ACTIVE',)

FAILURE_MESSAGE = 'Bedrock Knowledge Base Active sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 5

max_retries = 24

knowledge_base_id

get_state()

在子类中实现。

execute(context)

创建 Operator 时派生此方法。

执行任务的主要方法。Context 与用于渲染 jinja 模板的字典相同。

更多上下文请参阅 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockIngestionJobSensor(*, knowledge_base_id, data_source_id, ingestion_job_id, poke_interval=60, max_retries=10, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockAgentHook]

轮询注入作业状态，直到达到终端状态；如果创建失败则标记失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南：等待 Amazon Bedrock 提取作业完成

参数:

• knowledge_base_id (str) – 要获取信息的知识库的唯一标识符。（模板化）

• data_source_id (str) – 提取作业中数据源的唯一标识符。(templated)

• ingestion_job_id (str) – 提取作业的唯一标识符。(templated)

• deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

• poke_interval (int) – 检查作业状态的轮询周期（秒）。（默认为 60）

• max_retries (int) – 在返回当前状态之前的重试次数（默认值：10）

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或空字符串，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'IN_PROGRESS')

FAILURE_STATES: tuple[str, Ellipsis] = ('FAILED',)

SUCCESS_STATES: tuple[str, Ellipsis] = ('COMPLETE',)

FAILURE_MESSAGE = 'Bedrock ingestion job sensor failed.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 60

max_retries = 10

knowledge_base_id

data_source_id

ingestion_job_id

get_state()

在子类中实现。

execute(context)

创建 Operator 时派生此方法。

执行任务的主要方法。Context 与用于渲染 jinja 模板的字典相同。

更多上下文请参阅 get_template_context。

class airflow.providers.amazon.aws.sensors.bedrock.BedrockBatchInferenceSensor(*, job_arn, success_state=SuccessState.SCHEDULED, poke_interval=120, max_retries=75, **kwargs)

Bases: BedrockBaseSensor[airflow.providers.amazon.aws.hooks.bedrock.BedrockHook]

轮询批量推理作业状态，直到达到终端状态；如果创建失败则标记失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南：等待 Amazon Bedrock 批量推理作业

参数:

• job_arn (str) – 批量推理作业的 Amazon Resource Name (ARN)。(templated)

• success_state (SuccessState | str) – BedrockBatchInferenceSensor.TargetState 的一个状态；默认为 ‘SCHEDULED’。(templated)

• deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认为 False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

• poke_interval (int) – 检查作业状态的轮询周期（秒）。（默认为 5）

• max_retries (int) – 返回当前状态之前的重试次数（默认为 24）

• aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或空字符串，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个工作节点上维护）。

• region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

• verify – 是否验证 SSL 证书。请参阅： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

• botocore_config – botocore 客户端的配置字典（键值对）。请参阅： https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

class SuccessState

BedrockBatchInferenceSensor 的目标状态。

Bedrock 将批量推理作业添加到队列中，可能需要一些时间才能完成。如果您想等待作业完成，请使用 TargetState.COMPLETED；但如果您只想等待服务确认作业已进入队列，请使用 TargetState.SCHEDULED。

正常的成功状态流程为

Submitted > Validating > Scheduled > InProgress > PartiallyCompleted > Completed

SCHEDULED = 'scheduled'

COMPLETED = 'completed'

INTERMEDIATE_STATES: tuple[str, Ellipsis]

FAILURE_STATES: tuple[str, Ellipsis] = ('Failed', 'Stopped', 'PartiallyCompleted', 'Expired')

SUCCESS_STATES: tuple[str, Ellipsis]

FAILURE_MESSAGE = 'Bedrock batch inference job sensor failed.'

INVALID_SUCCESS_STATE_MESSAGE = 'success_state must be an instance of TargetState.'

aws_hook_class

template_fields: collections.abc.Sequence[str]

poke_interval = 120

max_retries = 75

job_arn

success_state

trigger_class: type[airflow.providers.amazon.aws.triggers.bedrock.BedrockBaseBatchInferenceTrigger]

get_state()

在子类中实现。

execute(context)

创建 Operator 时派生此方法。

执行任务的主要方法。Context 与用于渲染 jinja 模板的字典相同。

更多上下文请参阅 get_template_context。

上一页 下一页

此条目有帮助吗？