airflow.providers.amazon.aws.sensors.comprehend¶

类¶

`ComprehendBaseSensor`	Amazon Comprehend 的通用传感器行为。
`ComprehendStartPiiEntitiesDetectionJobCompletedSensor`	轮询 PII 实体检测作业的状态直到其达到完成状态；如果作业失败则任务失败。
`ComprehendCreateDocumentClassifierCompletedSensor`	轮询文档分类器状态直到其达到完成状态；如果作业失败则任务失败。

模块内容¶

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendBaseSensor(deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

基类: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.comprehend.ComprehendHook]

Amazon Comprehend 的通用传感器行为。

子类必须实现以下方法

get_state()

子类必须设置以下字段

INTERMEDIATE_STATES
FAILURE_STATES
SUCCESS_STATES
FAILURE_MESSAGE

参数：: deferrable (bool) – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

aws_hook_class[source]¶

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ()[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_MESSAGE = ''[source]¶

ui_color = '#66c3ff'[source]¶

deferrable = True[source]¶

poke(context, **kwargs)[source]¶

派生此类时覆盖此方法。

abstract get_state()[source]¶

在子类中实现。

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendStartPiiEntitiesDetectionJobCompletedSensor(*, job_id, max_retries=75, poke_interval=120, **kwargs)[source]¶

基类: ComprehendBaseSensor

轮询 PII 实体检测作业的状态直到其达到完成状态；如果作业失败则任务失败。

另请参阅

有关如何使用此传感器的更多信息，请参阅指南：等待 Amazon Comprehend Start PII 实体检测作业完成

参数：

job_id (str) – Comprehend PII 实体检测作业的 ID。
deferrable – 如果为 True，传感器将以可延迟模式运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）
poke_interval (int) – 轮询作业状态的周期（秒）。（默认值：120）
max_retries (int) – 在返回当前状态之前尝试的次数。（默认值：75）
aws_conn_id – 用于 AWS 凭证的 Airflow 连接。如果为 None 或为空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。
region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('IN_PROGRESS',)[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('FAILED', 'STOP_REQUESTED', 'STOPPED')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('COMPLETED',)[source]¶

FAILURE_MESSAGE = 'Comprehend start pii entities detection job sensor failed.'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

job_id[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

派生操作符时重写此方法。

执行任务的主要方法。上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文信息，请参阅 get_template_context。

get_state()[source]¶

在子类中实现。

class airflow.providers.amazon.aws.sensors.comprehend.ComprehendCreateDocumentClassifierCompletedSensor(*, document_classifier_arn, fail_on_warnings=False, max_retries=75, poke_interval=120, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)[source]¶