Amazon Comprehend

Amazon Comprehend 使用自然语言处理 (NLP) 来提取文档内容的见解。它通过识别文档中的实体、关键短语、语言、情感和其他常见元素来形成见解。

先决条件任务

要使用这些 Operator,您必须执行以下操作:

通用参数

aws_conn_id

Amazon Web Services 连接 ID 的引用。如果此参数设置为 None,则使用默认的 boto3 行为,而不进行连接查找。否则,使用存储在 Connection 中的凭据。默认值:aws_default

region_name

AWS 区域名称。如果此参数设置为 None 或省略,则将使用 AWS 连接额外参数 中的 region_name。否则,使用指定的值代替连接值。默认值:None

verify

是否验证 SSL 证书。

  • False - 不验证 SSL 证书。

  • path/to/cert/bundle.pem - 要使用的 CA 证书捆绑包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书捆绑包,可以指定此参数。

如果此参数设置为 None 或省略,则将使用 AWS 连接额外参数 中的 verify。否则,使用指定的值代替连接值。默认值:None

botocore_config

提供的字典用于构造 botocore.config.Config 对象。此配置可用于配置 避免限制异常、超时等。

示例,有关参数的更多详细信息,请参阅 botocore.config.Config
{
    "signature_version": "unsigned",
    "s3": {
        "us_east_1_regional_endpoint": True,
    },
    "retries": {
      "mode": "standard",
      "max_attempts": 10,
    },
    "connect_timeout": 300,
    "read_timeout": 300,
    "tcp_keepalive": True,
}

如果此参数设置为 None 或省略,则将使用 AWS 连接额外参数 中的 config_kwargs。否则,使用指定的值代替连接值。默认值:None

注意

指定一个空字典,{},将覆盖 botocore.config.Config 的连接配置。

Operator

创建一个 Amazon Comprehend 启动 PII 实体检测作业

要创建一个 Amazon Comprehend 启动 PII 实体检测作业,您可以使用 ComprehendStartPiiEntitiesDetectionJobOperator

tests/system/amazon/aws/example_comprehend.py

start_pii_entities_detection_job = ComprehendStartPiiEntitiesDetectionJobOperator(
    task_id="start_pii_entities_detection_job",
    input_data_config=input_data_configurations,
    output_data_config=output_data_configurations,
    mode="ONLY_REDACTION",
    data_access_role_arn=test_context[ROLE_ARN_KEY],
    language_code="en",
    start_pii_entities_kwargs=pii_entities_kwargs,
)

创建一个 Amazon Comprehend 文档分类器

要创建一个 Amazon Comprehend 文档分类器,您可以使用 ComprehendCreateDocumentClassifierOperator

tests/system/amazon/aws/example_comprehend_document_classifier.py

create_document_classifier = ComprehendCreateDocumentClassifierOperator(
    task_id="create_document_classifier",
    document_classifier_name=classifier_name,
    input_data_config=input_data_configurations,
    output_data_config=output_data_configurations,
    mode="MULTI_CLASS",
    data_access_role_arn=test_context[ROLE_ARN_KEY],
    language_code="en",
    document_classifier_kwargs=document_classifier_kwargs,
)

Sensor

等待一个 Amazon Comprehend 启动 PII 实体检测作业

要等待一个 Amazon Comprehend 启动 PII 实体检测作业的状态,直到它达到终端状态,您可以使用 ComprehendStartPiiEntitiesDetectionJobCompletedSensor

tests/system/amazon/aws/example_comprehend.py

await_start_pii_entities_detection_job = ComprehendStartPiiEntitiesDetectionJobCompletedSensor(
    task_id="await_start_pii_entities_detection_job", job_id=start_pii_entities_detection_job.output
)

等待一个 Amazon Comprehend 文档分类器

要等待一个 Amazon Comprehend 文档分类器的状态,直到它达到终端状态,您可以使用 ComprehendCreateDocumentClassifierCompletedSensor

tests/system/amazon/aws/example_comprehend_document_classifier.py

await_create_document_classifier = ComprehendCreateDocumentClassifierCompletedSensor(
    task_id="await_create_document_classifier", document_classifier_arn=create_document_classifier.output
)

参考

此条目有帮助吗?