airflow.providers.amazon.aws.operators.kinesis_analytics

类

KinesisAnalyticsV2CreateApplicationOperator

创建一个 AWS Managed Service for Apache Flink 应用。

KinesisAnalyticsV2StartApplicationOperator

启动一个 AWS Managed Service for Apache Flink 应用。

KinesisAnalyticsV2StopApplicationOperator

停止一个 AWS Managed Service for Apache Flink 应用。

模块内容

class airflow.providers.amazon.aws.operators.kinesis_analytics.KinesisAnalyticsV2CreateApplicationOperator(application_name, runtime_environment, service_execution_role, create_application_kwargs=None, application_description='Managed Service for Apache Flink application created from Airflow', **kwargs)[source]

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

创建一个 AWS Managed Service for Apache Flink 应用。

另请参阅

有关如何使用此 operator 的更多信息，请参阅以下指南：创建 Amazon Managed Service for Apache Flink 应用

参数:

  • application_name (str) – 应用的名称。(templated)

  • runtime_environment (str) – 应用运行时环境。(templated)

  • service_execution_role (str) – 应用用于访问服务的 IAM 角色。(templated)

  • create_application_kwargs (dict[str, Any] | None) – 创建应用的额外属性。(templated)

  • application_description (str) – 应用的摘要描述。(templated)

  • aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果此参数为 None 或为空，则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。

  • region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]
ui_color = '#44b5e2'[source]
template_fields: collections.abc.Sequence[str][source]
template_fields_renderers: ClassVar[dict][source]
application_name[source]
runtime_environment[source]
service_execution_role[source]
create_application_kwargs[source]
application_description = 'Managed Service for Apache Flink application created from Airflow'[source]
execute(context)[source]

创建 operator 时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多 context，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.kinesis_analytics.KinesisAnalyticsV2StartApplicationOperator(application_name, run_configuration=None, wait_for_completion=True, waiter_delay=60, waiter_max_attempts=20, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

启动一个 AWS Managed Service for Apache Flink 应用。

另请参阅

有关如何使用此 operator 的更多信息，请参阅以下指南：启动 Amazon Managed Service for Apache Flink 应用

参数:

  • application_name (str) – 应用的名称。(templated)

  • run_configuration (dict[str, Any] | None) – 启动 Apache Flink 作业的应用属性。(templated)

  • wait_for_completion (bool) – 是否等待作业停止。(默认值: True)

  • waiter_delay (int) – 检查状态之间的等待时间（秒）。(默认值: 60)

  • waiter_max_attempts (int) – 检查作业完成状态的最大尝试次数。(默认值: 20)

  • deferrable (bool) – 如果为 True，则 operator 将异步等待作业停止。这意味着等待完成。此模式需要安装 aiobotocore 模块。(默认值: False)

  • aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果此参数为 None 或为空，则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。

  • region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]
ui_color = '#44b5e2'[source]
template_fields: collections.abc.Sequence[str][source]
template_fields_renderers: ClassVar[dict][source]
application_name[source]
run_configuration[source]
wait_for_completion = True[source]
waiter_delay = 60[source]
waiter_max_attempts = 20[source]
deferrable = True[source]
execute(context)[source]

创建 operator 时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多 context，请参阅 get_template_context。

execute_complete(context, event=None)[source]
class airflow.providers.amazon.aws.operators.kinesis_analytics.KinesisAnalyticsV2StopApplicationOperator(application_name, force=False, wait_for_completion=True, waiter_delay=60, waiter_max_attempts=20, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.kinesis_analytics.KinesisAnalyticsV2Hook]

停止一个 AWS Managed Service for Apache Flink 应用。

另请参阅

有关如何使用此 operator 的更多信息，请参阅以下指南：停止 Amazon Managed Service for Apache Flink 应用

参数:

  • application_name (str) – 您的应用的名称。(templated)

  • force (bool) – 设置为 true 可强制停止应用。如果将 Force 设置为 true，Managed Service for Apache Flink 将在不创建快照的情况下停止应用。(templated)

  • wait_for_completion (bool) – 是否等待作业停止。(默认值: True)

  • waiter_delay (int) – 检查状态之间的等待时间（秒）。(默认值: 60)

  • waiter_max_attempts (int) – 检查作业完成状态的最大尝试次数。(默认值: 20)

  • deferrable (bool) – 如果为 True，则 operator 将异步等待作业停止。这意味着等待完成。此模式需要安装 aiobotocore 模块。(默认值: False)

  • aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果此参数为 None 或为空，则使用默认的 boto3 行为。如果以分布式方式运行 Airflow 且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。

  • region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。

  • verify – 是否验证 SSL 证书。参阅：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html

  • botocore_config – botocore 客户端的配置字典（键值对）。参阅：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]
ui_color = '#44b5e2'[source]
template_fields: collections.abc.Sequence[str][source]
application_name[source]
force = False[source]
wait_for_completion = True[source]
waiter_delay = 60[source]
waiter_max_attempts = 20[source]
deferrable = True[source]
execute(context)[source]

创建 operator 时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多 context，请参阅 get_template_context。

execute_complete(context, event=None)[source]

此条目是否有帮助？