`airflow.providers.amazon.aws.operators.ec2`¶

模块内容¶

类¶

`EC2StartInstanceOperator`	使用 boto3 启动 AWS EC2 实例。
`EC2StopInstanceOperator`	使用 boto3 停止 AWS EC2 实例。
`EC2CreateInstanceOperator`	使用 boto3 创建并启动指定数量的 EC2 实例。
`EC2TerminateInstanceOperator`	使用 boto3 终止 EC2 实例。
`EC2RebootInstanceOperator`	重启 Amazon EC2 实例。
`EC2HibernateInstanceOperator`	休眠 Amazon EC2 实例。

class airflow.providers.amazon.aws.operators.ec2.EC2StartInstanceOperator(*, instance_id, aws_conn_id='aws_default', region_name=None, check_interval=15, **kwargs)[source]¶

基类: airflow.models.BaseOperator

使用 boto3 启动 AWS EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：启动 Amazon EC2 实例

参数

instance_id (str) – AWS EC2 实例的 ID
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – (可选) 与客户端关联的 AWS 区域名称
check_interval (float) – 作业在每次实例状态检查之间应等待的秒数，直到操作完成

template_fields: collections.abc.Sequence[str] = ('instance_id', 'region_name')[source]¶

ui_color = '#eeaa11'[source]¶

ui_fgcolor = '#ffffff'[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.ec2.EC2StopInstanceOperator(*, instance_id, aws_conn_id='aws_default', region_name=None, check_interval=15, **kwargs)[source]¶

基类: airflow.models.BaseOperator

使用 boto3 停止 AWS EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：停止 Amazon EC2 实例

参数

instance_id (str) – AWS EC2 实例的 ID
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – (可选) 与客户端关联的 AWS 区域名称
check_interval (float) – 作业在每次实例状态检查之间应等待的秒数，直到操作完成

template_fields: collections.abc.Sequence[str] = ('instance_id', 'region_name')[source]¶

ui_color = '#eeaa11'[source]¶

ui_fgcolor = '#ffffff'[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.ec2.EC2CreateInstanceOperator(image_id, max_count=1, min_count=1, aws_conn_id='aws_default', region_name=None, poll_interval=20, max_attempts=20, config=None, wait_for_completion=False, **kwargs)[source]¶

基类: airflow.models.BaseOperator

使用 boto3 创建并启动指定数量的 EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：创建并启动 Amazon EC2 实例

参数

image_id (str) – 用于创建实例的 AMI 的 ID。
max_count (int) – 要启动的最大实例数。默认为 1。
min_count (int) – 要启动的最小实例数。默认为 1。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – 与客户端关联的 AWS 区域名称。
poll_interval (int) – 尝试检查实例状态前等待的秒数。仅当 wait_for_completion 为 True 时使用。默认为 20。
max_attempts (int) – 检查实例状态时的最大尝试次数。仅当 wait_for_completion 为 True 时使用。默认为 20。
config (dict | None) – 用于 boto3 run_instances 调用的任意参数的字典。
wait_for_completion (bool) – 如果为 True，操作符将在返回之前等待实例处于 running 状态。

template_fields: collections.abc.Sequence[str] = ('image_id', 'max_count', 'min_count', 'aws_conn_id', 'region_name', 'config', 'wait_for_completion')[源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

on_kill()[源代码]¶

当任务实例被终止时，重写此方法以清理子进程。

在操作符中使用 threading、subprocess 或 multiprocessing 模块的任何地方都需要清理，否则会留下幽灵进程。

class airflow.providers.amazon.aws.operators.ec2.EC2TerminateInstanceOperator(instance_ids, aws_conn_id='aws_default', region_name=None, poll_interval=20, max_attempts=20, wait_for_completion=False, **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

使用 boto3 终止 EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：终止 Amazon EC2 实例

参数

instance_id – 要终止的实例的 ID。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – 与客户端关联的 AWS 区域名称。
poll_interval (int) – 尝试检查实例状态前等待的秒数。仅当 wait_for_completion 为 True 时使用。默认为 20。
max_attempts (int) – 检查实例状态时的最大尝试次数。仅当 wait_for_completion 为 True 时使用。默认为 20。
wait_for_completion (bool) – 如果为 True，操作符将在返回之前等待实例处于 terminated 状态。

template_fields: collections.abc.Sequence[str] = ('instance_ids', 'region_name', 'aws_conn_id', 'wait_for_completion')[源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.ec2.EC2RebootInstanceOperator(*, instance_ids, aws_conn_id='aws_default', region_name=None, poll_interval=20, max_attempts=20, wait_for_completion=False, **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

重启 Amazon EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：重启 Amazon EC2 实例

参数

instance_ids (str | list[str]) – 要重启的实例的 ID。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – 与客户端关联的 AWS 区域名称。
poll_interval (int) – 尝试检查实例状态前等待的秒数。仅当 wait_for_completion 为 True 时使用。默认为 20。
max_attempts (int) – 检查实例状态时的最大尝试次数。仅当 wait_for_completion 为 True 时使用。默认为 20。
wait_for_completion (bool) – 如果为 True，操作符将在返回之前等待实例处于 running 状态。

template_fields: collections.abc.Sequence[str] = ('instance_ids', 'region_name')[源代码]¶

ui_color = '#eeaa11'[源代码]¶

ui_fgcolor = '#ffffff'[源代码]¶

execute(context)[源代码]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.ec2.EC2HibernateInstanceOperator(*, instance_ids, aws_conn_id='aws_default', region_name=None, poll_interval=20, max_attempts=20, wait_for_completion=False, **kwargs)[源代码]¶

基类: airflow.models.BaseOperator

休眠 Amazon EC2 实例。

参考

有关如何使用此操作符的更多信息，请查看指南：休眠 Amazon EC2 实例

参数

instance_ids ( str | list[str] ) – 要休眠的实例 ID。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果此值为 None 或为空，则使用默认的 boto3 行为。如果在分布式方式下运行 Airflow 并且 aws_conn_id 为 None 或为空，则将使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name (str | None) – 与客户端关联的 AWS 区域名称。
poll_interval (int) – 尝试检查实例状态前等待的秒数。仅当 wait_for_completion 为 True 时使用。默认为 20。
max_attempts (int) – 检查实例状态时的最大尝试次数。仅当 wait_for_completion 为 True 时使用。默认为 20。
wait_for_completion ( bool ) – 如果为 True，操作符将在实例进入 stopped 状态后返回。

template_fields: collections.abc.Sequence[str] = ('instance_ids', 'region_name')[source]¶

ui_color = '#eeaa11'[source]¶

ui_fgcolor = '#ffffff'[source]¶

execute(context)[source]¶

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

airflow.providers.amazon.aws.operators.ec2¶

模块内容¶

类¶

`airflow.providers.amazon.aws.operators.ec2`¶