Amazon OpenSearch无服务器¶

Amazon OpenSearch 无服务器是 Amazon OpenSearch Service 的一种按需、自动缩放的配置。OpenSearch 无服务器集合是根据您的应用程序需求自动扩展计算容量的 OpenSearch 集群。这与您手动管理容量的 OpenSearch Service 预置 OpenSearch 域形成对比。

先决条件任务¶

要使用这些操作符，您必须做几件事

使用 AWS 控制台或 AWS 命令行界面 (CLI) 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'
详细信息可在安装 Airflow® 中获取。
设置连接.

通用参数¶

aws_conn_id

参考 Amazon Web Services 连接 ID。如果此参数设置为 None，则使用默认的 boto3 行为，无需查找连接。否则使用连接中存储的凭据。默认值：aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略，则使用来自 AWS 连接额外参数的 region_name 值。否则使用指定的值而不是连接值。默认值：None

verify

是否验证 SSL 证书。

False - 不验证 SSL 证书。
path/to/cert/bundle.pem - 要使用的 CA 证书包文件名。如果您想使用与 botocore 使用的不同 CA 证书包，可以指定此参数。

如果此参数设置为 None 或省略，则使用来自 AWS 连接额外参数的 verify 值。否则使用指定的值而不是连接值。默认值：None

botocore_config

提供的字典用于构建一个 botocore.config.Config。此配置可用于配置避免限流异常、超时等。

示例，有关参数的更多详细信息，请参阅 botocore.config.Config¶

{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略，则使用来自 AWS 连接额外参数的 config_kwargs 值。否则使用指定的值而不是连接值。默认值：None

注意

指定一个空字典，{}，将覆盖 botocore.config.Config 的连接配置。

传感器¶

等待 Amazon OpenSearch 无服务器集合变为活动状态¶

要等待 Amazon Bedrock 自定义模型作业的状态直到达到终止状态，您可以使用 OpenSearchServerlessCollectionActiveSensor

tests/system/amazon/aws/example_bedrock_retrieve_and_generate.py

await_collection = OpenSearchServerlessCollectionActiveSensor(
    task_id="await_collection",
    collection_name=vector_store_name,
)