airflow.providers.amazon.aws.operators.redshift_cluster

模块内容

RedshiftCreateClusterOperator

使用指定的参数创建一个新的集群。

RedshiftCreateClusterSnapshotOperator

创建指定集群的手动快照。该集群必须处于可用状态。

RedshiftDeleteClusterSnapshotOperator

删除指定的手动快照。

RedshiftResumeClusterOperator

恢复暂停的 AWS Redshift 集群。

RedshiftPauseClusterOperator

如果 AWS Redshift 集群的状态为 available,则暂停该集群。

RedshiftDeleteClusterOperator

删除 AWS Redshift 集群。

class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftCreateClusterOperator(*, cluster_identifier, node_type, master_username, master_user_password, cluster_type='multi-node', db_name='dev', number_of_nodes=1, cluster_security_groups=None, vpc_security_group_ids=None, cluster_subnet_group_name=None, availability_zone=None, preferred_maintenance_window=None, cluster_parameter_group_name=None, automated_snapshot_retention_period=1, manual_snapshot_retention_period=None, port=5439, cluster_version='1.0', allow_version_upgrade=True, publicly_accessible=True, encrypted=False, hsm_client_certificate_identifier=None, hsm_configuration_identifier=None, elastic_ip=None, tags=None, kms_key_id=None, enhanced_vpc_routing=False, additional_info=None, iam_roles=None, maintenance_track_name=None, snapshot_schedule_identifier=None, availability_zone_relocation=None, aqua_configuration_status=None, default_iam_role_arn=None, aws_conn_id='aws_default', wait_for_completion=False, max_attempt=5, poll_interval=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[源代码]

基类:airflow.models.BaseOperator

使用指定的参数创建一个新的集群。

另请参阅

有关如何使用此操作符的更多信息,请查看以下指南:创建 Amazon Redshift 集群

参数
  • cluster_identifier (str) – 集群的唯一标识符。

  • node_type (str) – 为集群配置的节点类型。有效值:ds2.xlargeds2.8xlargedc1.largedc1.8xlargedc2.largedc2.8xlargera3.xlplusra3.4xlargera3.16xlarge

  • master_username (str) – 与正在创建的集群的管理员用户帐户关联的用户名。

  • master_user_password (str) – 与正在创建的集群的管理员用户帐户关联的密码。

  • cluster_type (str) – 集群的类型,single-nodemulti-node。默认值为 multi-node

  • db_name (str) – 在创建集群时要创建的第一个数据库的名称。

  • number_of_nodes (int) – 集群中的计算节点数。当 cluster_typemulti-node 时,此参数是必需的。

  • cluster_security_groups (list[str] | None) – 要与此集群关联的安全组列表。

  • vpc_security_group_ids (list[str] | None) – 要与集群关联的 VPC 安全组列表。

  • cluster_subnet_group_name (str | None) – 要与此集群关联的集群子网组的名称。

  • availability_zone (str | None) – EC2 可用区 (AZ)。

  • preferred_maintenance_window (str | None) – 自动集群维护可以发生的时间范围(以 UTC 为单位)。

  • cluster_parameter_group_name (str | None) – 要与此集群关联的参数组的名称。

  • automated_snapshot_retention_period (int) – 自动快照保留的天数。默认值为 1

  • manual_snapshot_retention_period (int | None) – 保留手动快照的默认天数。

  • port (int) – 集群接受传入连接的端口号。默认值为 5439

  • cluster_version (str) – 您要部署在集群上的 Redshift 引擎软件的版本。

  • allow_version_upgrade (bool) – 是否可以在维护窗口期间应用主要版本升级。默认值为 True

  • publicly_accessible (bool) – 是否可以从公共网络访问集群。

  • encrypted (bool) – 集群中的数据是否在静态时加密。默认值为 False

  • hsm_client_certificate_identifier (str | None) – Amazon Redshift 集群用于检索数据的 HSM 客户端证书的名称。

  • hsm_configuration_identifier (str | None) – HSM 配置的名称。

  • elastic_ip (str | None) – 集群的弹性 IP (EIP) 地址。

  • tags (list[Any] | None) – 标签实例列表

  • kms_key_id (str | None) – 加密密钥的 KMS 密钥 ID。

  • enhanced_vpc_routing (bool) – 是否创建启用增强型 VPC 路由的集群。默认值为 False

  • additional_info (str | None) – 保留

  • iam_roles (list[str] | None) – 集群可以用来访问其他 AWS 服务的 IAM 角色列表。

  • maintenance_track_name (str | None) – 集群的维护跟踪名称。

  • snapshot_schedule_identifier (str | None) – 快照计划的唯一标识符。

  • availability_zone_relocation (bool | None) – 在集群创建后,启用 Redshift 集群在可用区之间的重新定位。

  • aqua_configuration_status (str | None) – 该集群配置为使用 AQUA。

  • default_iam_role_arn (str | None) – IAM 角色的 ARN。

  • aws_conn_id (str | None) – = 用于 AWS 凭证的 Airflow 连接。默认连接 ID 为 aws_default

  • wait_for_completion (bool) – 是否等待集群进入 available 状态

  • max_attempt (int) – 要尝试的最大次数。默认值:5

  • poll_interval (int) – 两次尝试之间等待的时间(以秒为单位)。默认值:60

  • deferrable (bool) – 如果为 True,则运算符将在可延迟模式下运行

template_fields: collections.abc.Sequence[str] = ('cluster_identifier', 'cluster_type', 'node_type', 'master_username', 'master_user_password',...[source]
ui_color = '#eeaa11'[source]
ui_fgcolor = '#ffffff'[source]
execute(context)[source]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

execute_complete(context, event=None)[source]
class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftCreateClusterSnapshotOperator(*, snapshot_identifier, cluster_identifier, retention_period=-1, tags=None, wait_for_completion=False, poll_interval=15, max_attempt=20, aws_conn_id='aws_default', deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

基类:airflow.models.BaseOperator

创建指定集群的手动快照。该集群必须处于可用状态。

另请参阅

有关如何使用此运算符的更多信息,请查看该指南:创建 Amazon Redshift 集群快照

参数
  • snapshot_identifier (str) – 您请求的快照的唯一标识符

  • cluster_identifier (str) – 您想要为其创建快照的集群标识符。

  • retention_period (int) – 手动快照的保留天数。如果该值为 -1,则手动快照将无限期保留。

  • tags (list[Any] | None) – 标签实例列表

  • wait_for_completion (bool) – 是否等待集群快照处于 available 状态。

  • poll_interval (int) – 两次连续调用以检查状态之间的等待时间(以秒为单位)。

  • max_attempt (int) – 检查状态的最大尝试次数。

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。默认连接 ID 为 aws_default

  • deferrable (bool) – 如果为 True,则运算符将作为可延期运算符运行。

template_fields: collections.abc.Sequence[str] = ('cluster_identifier', 'snapshot_identifier')[源]
execute(context)[源]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

execute_complete(context, event=None)[源]
class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftDeleteClusterSnapshotOperator(*, snapshot_identifier, cluster_identifier, wait_for_completion=True, aws_conn_id='aws_default', poll_interval=10, **kwargs)[源]

基类:airflow.models.BaseOperator

删除指定的手动快照。

另请参阅

有关如何使用此运算符的更多信息,请查看指南:删除 Amazon Redshift 集群快照

参数
  • snapshot_identifier (str) – 您请求的快照的唯一标识符

  • cluster_identifier (str) – 创建快照的集群的唯一标识符。

  • wait_for_completion (bool) – 是否等待集群删除。默认值为 True

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。默认连接 ID 为 aws_default

  • poll_interval (int) – 两次连续调用以检查快照状态之间的等待时间(以秒为单位)。

template_fields: collections.abc.Sequence[str] = ('cluster_identifier', 'snapshot_identifier')[源]
execute(context)[源]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

get_status()[源]
class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftResumeClusterOperator(*, cluster_identifier, aws_conn_id='aws_default', wait_for_completion=False, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=30, max_attempts=30, **kwargs)[源]

基类:airflow.models.BaseOperator

恢复暂停的 AWS Redshift 集群。

另请参阅

有关如何使用此运算符的更多信息,请查看指南:恢复 Amazon Redshift 集群

参数
  • cluster_identifier (str) – AWS Redshift 集群的唯一标识符。

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。默认连接 ID 为 aws_default

  • poll_interval (int) – 两次连续调用以检查集群状态之间的等待时间(以秒为单位)。

  • max_attempts (int) – 检查集群状态的最大尝试次数。

  • wait_for_completion (bool) – 如果为 True,则运算符将等待集群处于“resumed”状态。默认为 False。

  • deferrable (bool) – 如果为 True,则运算符将作为可延期运算符运行。

template_fields: collections.abc.Sequence[str] = ('cluster_identifier',)[源]
ui_color = '#eeaa11'[源]
ui_fgcolor = '#ffffff'[源]
execute(context)[源]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

execute_complete(context, event=None)[源]
class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftPauseClusterOperator(*, cluster_identifier, aws_conn_id='aws_default', wait_for_completion=False, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=30, max_attempts=30, **kwargs)[source]

基类:airflow.models.BaseOperator

如果 AWS Redshift 集群的状态为 available,则暂停该集群。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:暂停 Amazon Redshift 集群

参数
  • cluster_identifier (str) – AWS Redshift 集群的 ID

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此项为 None 或为空,则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空,则会使用默认的 boto3 配置(并且必须在每个 worker 节点上维护)。

  • wait_for_completion (bool) – 如果为 True,则等待集群暂停。(默认值:False)

  • deferrable (bool) – 在可延期模式下运行操作符

  • poll_interval (int) – 两次连续调用以检查集群状态之间的等待时间(以秒为单位)。

  • max_attempts (int) – 轮询集群的最大尝试次数

template_fields: collections.abc.Sequence[str] = ('cluster_identifier',)[source]
ui_color = '#eeaa11'[source]
ui_fgcolor = '#ffffff'[source]
execute(context)[source]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

execute_complete(context, event=None)[source]
class airflow.providers.amazon.aws.operators.redshift_cluster.RedshiftDeleteClusterOperator(*, cluster_identifier, skip_final_cluster_snapshot=True, final_cluster_snapshot_identifier=None, wait_for_completion=True, aws_conn_id='aws_default', poll_interval=30, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), max_attempts=30, **kwargs)[source]

基类:airflow.models.BaseOperator

删除 AWS Redshift 集群。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:删除 Amazon Redshift 集群

参数
  • cluster_identifier (str) – 集群的唯一标识符

  • skip_final_cluster_snapshot (bool) – 确定是否创建集群快照

  • final_cluster_snapshot_identifier (str | None) – 最终集群快照的名称

  • wait_for_completion (bool) – 是否等待集群删除。默认值为 True

  • aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。如果此项为 None 或为空,则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或为空,则会使用默认的 boto3 配置(并且必须在每个 worker 节点上维护)。

  • poll_interval (int) – 两次连续调用以检查集群状态之间的等待时间(以秒为单位)。

  • deferrable (bool) – 在可延期模式下运行操作符。

  • max_attempts (int) – (仅限可延期模式) 要尝试的最大次数

template_fields: collections.abc.Sequence[str] = ('cluster_identifier',)[source]
ui_color = '#eeaa11'[source]
ui_fgcolor = '#ffffff'[source]
execute(context)[source]

在创建运算符时推导。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

execute_complete(context, event=None)[source]

此条目是否有帮助?