airflow.providers.amazon.aws.sensors.kinesis_analytics¶

类¶

`KinesisAnalyticsV2BaseSensor`	适用于 AWS Managed Service for Apache Flink 的通用 Sensor 行为。
`KinesisAnalyticsV2StartApplicationCompletedSensor`	等待 AWS Managed Service for Apache Flink 应用程序启动。
`KinesisAnalyticsV2StopApplicationCompletedSensor`	等待 AWS Managed Service for Apache Flink 应用程序停止。

模块内容¶

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2BaseSensor(application_name, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

适用于 AWS Managed Service for Apache Flink 的通用 Sensor 行为。

子类必须设置以下字段

INTERMEDIATE_STATES
FAILURE_STATES
SUCCESS_STATES
FAILURE_MESSAGE
SUCCESS_MESSAGE

参数::

application_name (str) – 应用程序名称。
deferrable (bool) – 如果为 True，Sensor 将在可延迟模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）

aws_hook_class[source]¶

ui_color = '#66c3ff'[source]¶

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ()[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ()[source]¶

FAILURE_MESSAGE = ''[source]¶

SUCCESS_MESSAGE = ''[source]¶

application_name[source]¶

deferrable = True[source]¶

poke(context, **kwargs)[source]¶

派生此类时覆盖。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StartApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[source]¶

Bases: KinesisAnalyticsV2BaseSensor

等待 AWS Managed Service for Apache Flink 应用程序启动。

参阅

有关如何使用此 Sensor 的更多信息，请参阅指南：等待 Amazon Managed Service for Apache Flink 应用程序启动

参数::

application_name (str) – 应用程序名称。
deferrable – 如果为 True，Sensor 将在可延迟模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）
poke_interval (int) – 轮询间隔（秒），用于检查作业状态。（默认值：120）
max_retries (int) – 在返回当前状态之前重试的次数。（默认值：75）
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个 Worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'UPDATING', 'AUTOSCALING')[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'STOPPING', 'READY', 'FORCE_STOPPING', 'ROLLING_BACK', 'MAINTENANCE', 'ROLLED_BACK')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('RUNNING',)[source]¶

FAILURE_MESSAGE = 'AWS Managed Service for Apache Flink application start failed.'[source]¶

SUCCESS_MESSAGE = 'AWS Managed Service for Apache Flink application started successfully'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

application_name[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

创建 Operator 时派生。

执行任务的主要方法。Context 与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多 Context 信息。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StopApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[source]¶

Bases: KinesisAnalyticsV2BaseSensor

等待 AWS Managed Service for Apache Flink 应用程序停止。

参阅

有关如何使用此 Sensor 的更多信息，请参阅指南：等待 Amazon Managed Service for Apache Flink 应用程序停止

参数::

application_name (str) – 应用程序名称。
deferrable – 如果为 True，Sensor 将在可延迟模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中设置 default_deferrable 为 True 来覆盖）
poke_interval (int) – 轮询间隔（秒），用于检查作业状态。（默认值：120）
max_retries (int) – 在返回当前状态之前重试的次数。（默认值：75）
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（并且必须在每个 Worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis] = ('STARTING', 'UPDATING', 'AUTOSCALING', 'RUNNING', 'STOPPING', 'FORCE_STOPPING')[source]¶

FAILURE_STATES: tuple[str, Ellipsis] = ('DELETING', 'ROLLING_BACK', 'MAINTENANCE', 'ROLLED_BACK')[source]¶

SUCCESS_STATES: tuple[str, Ellipsis] = ('READY',)[source]¶

FAILURE_MESSAGE = 'AWS Managed Service for Apache Flink application stop failed.'[source]¶

SUCCESS_MESSAGE = 'AWS Managed Service for Apache Flink application stopped successfully'[source]¶

template_fields: collections.abc.Sequence[str][source]¶

application_name[source]¶

max_retries = 75[source]¶

poke_interval = 120[source]¶

execute(context)[source]¶

创建 Operator 时派生。

执行任务的主要方法。Context 与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多 Context 信息。