Amazon OpenSearch无服务器¶
Amazon OpenSearch 无服务器 是 Amazon OpenSearch Service 的一种按需、自动缩放的配置。OpenSearch 无服务器集合是根据您的应用程序需求自动扩展计算容量的 OpenSearch 集群。这与您手动管理容量的 OpenSearch Service 预置 OpenSearch 域形成对比。
先决条件任务¶
要使用这些操作符,您必须做几件事
使用 AWS 控制台 或 AWS 命令行界面 (CLI) 创建必要的资源。
通过 pip 安装 API 库。
pip install 'apache-airflow[amazon]'详细信息可在 安装 Airflow® 中获取。
设置连接.
通用参数¶
- aws_conn_id
参考 Amazon Web Services 连接 ID。如果此参数设置为
None
,则使用默认的 boto3 行为,无需查找连接。否则使用连接中存储的凭据。默认值:aws_default
- region_name
AWS 区域名称。如果此参数设置为
None
或省略,则使用来自 AWS 连接额外参数 的region_name
值。否则使用指定的值而不是连接值。默认值:None
- verify
是否验证 SSL 证书。
False
- 不验证 SSL 证书。path/to/cert/bundle.pem - 要使用的 CA 证书包文件名。如果您想使用与 botocore 使用的不同 CA 证书包,可以指定此参数。
如果此参数设置为
None
或省略,则使用来自 AWS 连接额外参数 的verify
值。否则使用指定的值而不是连接值。默认值:None
- botocore_config
提供的字典用于构建一个 botocore.config.Config。此配置可用于配置 避免限流异常、超时等。
示例,有关参数的更多详细信息,请参阅 botocore.config.Config¶{ "signature_version": "unsigned", "s3": { "us_east_1_regional_endpoint": True, }, "retries": { "mode": "standard", "max_attempts": 10, }, "connect_timeout": 300, "read_timeout": 300, "tcp_keepalive": True, }
如果此参数设置为
None
或省略,则使用来自 AWS 连接额外参数 的config_kwargs
值。否则使用指定的值而不是连接值。默认值:None
注意
指定一个空字典,
{}
,将覆盖 botocore.config.Config 的连接配置。
传感器¶
等待 Amazon OpenSearch 无服务器集合变为活动状态¶
要等待 Amazon Bedrock 自定义模型作业的状态直到达到终止状态,您可以使用 OpenSearchServerlessCollectionActiveSensor
tests/system/amazon/aws/example_bedrock_retrieve_and_generate.py
await_collection = OpenSearchServerlessCollectionActiveSensor(
task_id="await_collection",
collection_name=vector_store_name,
)