airflow.providers.amazon.aws.sensors.kinesis_analytics

模块内容

类

KinesisAnalyticsV2BaseSensor

用于 AWS 托管的 Apache Flink 服务的通用传感器行为。

KinesisAnalyticsV2StartApplicationCompletedSensor

等待 AWS 托管的 Apache Flink 应用程序启动。

KinesisAnalyticsV2StopApplicationCompletedSensor

等待 AWS 托管的 Apache Flink 应用程序停止。
class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2BaseSensor(application_name, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[源代码]

基类: airflow.providers.amazon.aws.sensors.base_aws.AwsBaseSensor[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

用于 AWS 托管的 Apache Flink 服务的通用传感器行为。

子类必须设置以下字段

  • INTERMEDIATE_STATES

  • FAILURE_STATES

  • SUCCESS_STATES

  • FAILURE_MESSAGE

  • SUCCESS_MESSAGE

参数

  • application_name (str) – 应用程序名称。

  • deferrable (bool) – 如果为 True，则传感器将在可延期模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中将 default_deferrable 设置为 True 来覆盖）

aws_hook_class[源代码]
ui_color = '#66c3ff'[源代码]
INTERMEDIATE_STATES: tuple[str, Ellipsis] = ()[源代码]
FAILURE_STATES: tuple[str, Ellipsis] = ()[源代码]
SUCCESS_STATES: tuple[str, Ellipsis] = ()[源代码]
FAILURE_MESSAGE = ''[源代码]
SUCCESS_MESSAGE = ''[源代码]
poke(context, **kwargs)[源代码]

派生此类时覆盖。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StartApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[源代码]

基类: KinesisAnalyticsV2BaseSensor

等待 AWS 托管的 Apache Flink 应用程序启动。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 Amazon Managed Service for Apache Flink 应用程序启动

参数

  • application_name (str) – 应用程序名称。

  • deferrable – 如果为 True，则传感器将在可延期模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中将 default_deferrable 设置为 True 来覆盖）

  • poke_interval (int) – 轮询时间间隔，以秒为单位，用于检查作业的状态。（默认值：120）

  • max_retries (int) – 返回当前状态之前的重试次数。（默认值：75）

  • aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个工作节点上维护）。

  • region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis][源代码]
FAILURE_STATES: tuple[str, Ellipsis][源代码]
SUCCESS_STATES: tuple[str, Ellipsis][源代码]
FAILURE_MESSAGE = 'AWS 用于 Apache Flink 应用程序启动的托管服务失败。'[源代码]
SUCCESS_MESSAGE = 'AWS 用于 Apache Flink 应用程序的托管服务已成功启动'[源代码]
template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建运算符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.sensors.kinesis_analytics.KinesisAnalyticsV2StopApplicationCompletedSensor(*, application_name, max_retries=75, poke_interval=120, **kwargs)[源代码]

基类: KinesisAnalyticsV2BaseSensor

等待 AWS 托管的 Apache Flink 应用程序停止。

另请参阅

有关如何使用此传感器的更多信息，请查看指南：等待 Amazon Managed Service for Apache Flink 应用程序停止

参数

  • application_name (str) – 应用程序名称。

  • deferrable – 如果为 True，则传感器将在可延期模式下运行。此模式需要安装 aiobotocore 模块。（默认值：False，但可以通过在配置文件中将 default_deferrable 设置为 True 来覆盖）

  • poke_interval (int) – 轮询时间间隔，以秒为单位，用于检查作业的状态。（默认值：120）

  • max_retries (int) – 返回当前状态之前的重试次数。（默认值：75）

  • aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个工作节点上维护）。

  • region_name – AWS 区域名称。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。请参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。请参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

INTERMEDIATE_STATES: tuple[str, Ellipsis][源代码]
FAILURE_STATES: tuple[str, Ellipsis][源代码]
SUCCESS_STATES: tuple[str, Ellipsis][源代码]
FAILURE_MESSAGE = 'AWS 用于 Apache Flink 应用程序停止的托管服务失败。'[源代码]
SUCCESS_MESSAGE = 'AWS 用于 Apache Flink 应用程序的托管服务已成功停止'[源代码]
template_fields: collections.abc.Sequence[str][源代码]
execute(context)[源代码]

在创建运算符时派生。

上下文与渲染 Jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？