airflow.providers.amazon.aws.operators.dms¶

类¶

`DmsCreateTaskOperator`	创建 AWS DMS 复制任务。
`DmsDeleteTaskOperator`	删除 AWS DMS 复制任务。
`DmsDescribeTasksOperator`	描述 AWS DMS 复制任务。
`DmsStartTaskOperator`	启动 AWS DMS 复制任务。
`DmsStopTaskOperator`	停止 AWS DMS 复制任务。
`DmsDescribeReplicationConfigsOperator`	描述 AWS DMS Serverless 复制配置。
`DmsCreateReplicationConfigOperator`	创建 AWS DMS Serverless 复制配置。
`DmsDeleteReplicationConfigOperator`	删除 AWS DMS Serverless 复制配置。
`DmsDescribeReplicationsOperator`	描述 AWS DMS Serverless 复制。
`DmsStartReplicationOperator`	启动 AWS DMS Serverless 复制。
`DmsStopReplicationOperator`	停止 AWS DMS Serverless 复制。

模块内容¶

class airflow.providers.amazon.aws.operators.dms.DmsCreateTaskOperator(*, replication_task_id, source_endpoint_arn, target_endpoint_arn, replication_instance_arn, table_mappings, migration_type='full-load', create_task_kwargs=None, aws_conn_id='aws_default', **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

创建 AWS DMS 复制任务。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：创建复制任务

参数:

replication_task_id (str) – 复制任务 ID
source_endpoint_arn (str) – 源端点 ARN
target_endpoint_arn (str) – 目标端点 ARN
replication_instance_arn (str) – 复制实例 ARN
table_mappings (dict) – 表映射
migration_type (str) – 迁移类型 ('full-load'|'cdc'|'full-load-and-cdc')，默认为 full-load。
create_task_kwargs (dict | None) – 用于创建 DMS 复制任务的额外参数。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_fields_renderers: ClassVar[dict][source]¶

replication_task_id[source]¶

source_endpoint_arn[source]¶

target_endpoint_arn[source]¶

replication_instance_arn[source]¶

migration_type = 'full-load'[source]¶

table_mappings[source]¶

create_task_kwargs[source]¶

aws_conn_id = 'aws_default'[source]¶

execute(context)[source]¶

从 Airflow 创建 AWS DMS 复制任务。

返回:: 复制任务 ARN

class airflow.providers.amazon.aws.operators.dms.DmsDeleteTaskOperator(*, replication_task_arn=None, **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

删除 AWS DMS 复制任务。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：删除复制任务

参数:

replication_task_arn (str | None) – 复制任务 ARN
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

replication_task_arn = None[source]¶

execute(context)[source]¶

从 Airflow 删除 AWS DMS 复制任务。

返回:: 复制任务 ARN

class airflow.providers.amazon.aws.operators.dms.DmsDescribeTasksOperator(*, describe_tasks_kwargs=None, **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS 复制任务。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：获取复制任务详细信息

参数:

describe_tasks_kwargs (dict | None) – describe tasks 命令参数
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_fields_renderers: ClassVar[dict[str, str]][source]¶

describe_tasks_kwargs[source]¶

execute(context)[source]¶

从 Airflow 描述 AWS DMS 复制任务。

返回:: 标记和复制任务列表
返回类型:: tuple[str | None, list]

class airflow.providers.amazon.aws.operators.dms.DmsStartTaskOperator(*, replication_task_arn, start_replication_task_type='start-replication', start_task_kwargs=None, aws_conn_id='aws_default', **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

启动 AWS DMS 复制任务。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：启动复制任务

参数:

replication_task_arn (str) – 复制任务 ARN
start_replication_task_type (str) – 复制任务启动类型 (默认='start-replication') ('start-replication'|'resume-processing'|'reload-target')
start_task_kwargs (dict | None) – 额外的启动复制任务参数
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_fields_renderers[source]¶

replication_task_arn[source]¶

start_replication_task_type = 'start-replication'[source]¶

start_task_kwargs[source]¶

aws_conn_id = 'aws_default'[source]¶

execute(context)[source]¶

从 Airflow 启动 AWS DMS 复制任务。

class airflow.providers.amazon.aws.operators.dms.DmsStopTaskOperator(*, replication_task_arn=None, **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

停止 AWS DMS 复制任务。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：停止复制任务

参数:

replication_task_arn (str | None) – 复制任务 ARN
aws_conn_id – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则会使用默认的 boto3 配置（并且必须在每个 worker 节点上维护）。
region_name – AWS region_name。如果未指定，则使用默认的 boto3 行为。
verify – 是否验证 SSL 证书。参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html
botocore_config – botocore 客户端的配置字典（键值对）。参见：https://botocore.amazonaws.com/v1/documentation/api/latest/reference/config.html

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

replication_task_arn = None[source]¶

execute(context)[source]¶

从 Airflow 停止 AWS DMS 复制任务。

class airflow.providers.amazon.aws.operators.dms.DmsDescribeReplicationConfigsOperator(*, filter=None, aws_conn_id='aws_default', **kwargs)[source]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS Serverless 复制配置。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：描述无服务器复制配置

参数:

describe_config_filter – 用于过滤结果的过滤器块。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

template_fields_renderers[source]¶

filter = None[source]¶

execute(context)[source]¶

描述 AWS DMS 复制配置。

返回:: 复制配置列表
返回类型:: list

class airflow.providers.amazon.aws.operators.dms.DmsCreateReplicationConfigOperator(*, replication_config_id, source_endpoint_arn, target_endpoint_arn, compute_config, replication_type, table_mappings, additional_config_kwargs=None, aws_conn_id='aws_default', **kwargs)[源代码]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

创建 AWS DMS Serverless 复制配置。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：创建无服务器复制配置

参数:

replication_config_id (str) – 用于创建 ReplicationConfigArn 的唯一标识符。
source_endpoint_arn (str) – 源端点的 ARN
target_endpoint_arn (str) – 目标端点的 ARN
compute_config (dict[str, Any]) – 用于预置 DMS 无服务器复制的参数。
replication_type (str) – DMS 无服务器复制的类型
table_mappings (str) – JSON 表映射
tags – 键值标签对
additional_config_kwargs (dict | None) – DMS 无服务器复制的附加配置参数。直接传递给 API
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

aws_hook_class[源代码]¶

template_fields: collections.abc.Sequence[str][源代码]¶

template_fields_renderers[源代码]¶

replication_config_id[源代码]¶

source_endpoint_arn[源代码]¶

target_endpoint_arn[源代码]¶

compute_config[源代码]¶

replication_type[源代码]¶

table_mappings[源代码]¶

additional_config_kwargs[源代码]¶

execute(context)[源代码]¶

创建 operator 时派生。

Context 是用于渲染 jinja 模板的同一字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.amazon.aws.operators.dms.DmsDeleteReplicationConfigOperator(*, replication_config_arn, wait_for_completion=True, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), waiter_delay=60, waiter_max_attempts=60, aws_conn_id='aws_default', **kwargs)[源代码]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

删除 AWS DMS Serverless 复制配置。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：删除无服务器复制配置

参数:

replication_config_arn (str) – 复制配置的 ARN
wait_for_completion (bool) – 如果为 True，则等待复制配置被删除后才返回。如果为 False，则 operator 在发出请求后立即返回。
deferrable (bool) – 在可推迟模式下运行 operator。
waiter_delay (int) – 两次重试之间的等待秒数（默认值：60）。
waiter_max_attempts (int) – 最大尝试次数（默认值：60）。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

aws_hook_class[源代码]¶

template_fields: collections.abc.Sequence[str][源代码]¶

VALID_STATES = ['failed', 'stopped', 'created'][源代码]¶

DELETING_STATES = ['deleting'][源代码]¶

TERMINAL_PROVISION_STATES = ['deprovisioned', ''][源代码]¶

replication_config_arn[源代码]¶

wait_for_completion = True[源代码]¶

deferrable = True[源代码]¶

waiter_delay = 60[源代码]¶

waiter_max_attempts = 60[源代码]¶

execute(context)[源代码]¶

创建 operator 时派生。

Context 是用于渲染 jinja 模板的同一字典。

有关更多上下文，请参阅 get_template_context。

handle_delete_wait()[源代码]¶

execute_complete(context, event=None)[源代码]¶

retry_execution(context, event=None)[源代码]¶

class airflow.providers.amazon.aws.operators.dms.DmsDescribeReplicationsOperator(*, filter=None, aws_conn_id='aws_default', **kwargs)[源代码]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

描述 AWS DMS Serverless 复制。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：获取无服务器复制的状态

参数:

filter (list[dict[str, Any]] | None) – 用于过滤结果的过滤器块。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

aws_hook_class[源代码]¶

template_fields: collections.abc.Sequence[str][源代码]¶

template_fields_renderer[源代码]¶

filter = None[源代码]¶

execute(context)[源代码]¶

描述 AWS DMS 复制。

返回:: 复制（Replications）
返回类型:: list[dict[str, Any]]

class airflow.providers.amazon.aws.operators.dms.DmsStartReplicationOperator(*, replication_config_arn, replication_start_type, cdc_start_time=None, cdc_start_pos=None, cdc_stop_pos=None, wait_for_completion=True, waiter_delay=30, waiter_max_attempts=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)[源代码]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

启动 AWS DMS Serverless 复制。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：启动无服务器复制

参数:

replication_config_arn (str) – 复制配置的 ARN
replication_start_type (str) – 复制类型。
cdc_start_time (datetime.datetime | str | None) – CDC 的开始时间
cdc_start_pos (str | None) – 指示 CDC 何时开始。
cdc_stop_pos (str | None) – 指示 CDC 何时停止。
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

RUNNING_STATES = ['running'][源代码]¶

STARTABLE_STATES = ['stopped', 'failed', 'created'][源代码]¶

TERMINAL_STATES = ['failed', 'stopped', 'created'][源代码]¶

TERMINAL_PROVISION_STATES = ['deprovisioned', ''][源代码]¶

aws_hook_class[源代码]¶

template_fields: collections.abc.Sequence[str][源代码]¶

replication_config_arn[源代码]¶

replication_start_type[源代码]¶

cdc_start_time = None[源代码]¶

cdc_start_pos = None[源代码]¶

cdc_stop_pos = None[源代码]¶

deferrable = True[源代码]¶

waiter_delay = 30[源代码]¶

waiter_max_attempts = 60[源代码]¶

wait_for_completion = True[源代码]¶

execute(context)[源代码]¶

创建 operator 时派生。

Context 是用于渲染 jinja 模板的同一字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)[源代码]¶

retry_execution(context, event=None)[源代码]¶

class airflow.providers.amazon.aws.operators.dms.DmsStopReplicationOperator(*, replication_config_arn, wait_for_completion=True, waiter_delay=30, waiter_max_attempts=60, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), aws_conn_id='aws_default', **kwargs)[源代码]¶

Bases: airflow.providers.amazon.aws.operators.base_aws.AwsBaseOperator[airflow.providers.amazon.aws.hooks.dms.DmsHook]

停止 AWS DMS Serverless 复制。

另请参阅

有关如何使用此 operator 的更多信息，请参阅指南：停止无服务器复制

参数:

replication_config_arn (str) – 复制配置的 ARN
aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。如果为 None 或空，则使用默认的 boto3 行为。如果在分布式环境中运行 Airflow 且 aws_conn_id 为 None 或空，则将使用默认的 boto3 配置（且必须在每个 worker 节点上维护）。

STOPPED_STATES = ['stopped'][source]¶

NON_STOPPABLE_STATES = ['stopped'][source]¶

aws_hook_class[source]¶

template_fields: collections.abc.Sequence[str][source]¶

replication_config_arn[source]¶

wait_for_completion = True[source]¶

waiter_delay = 30[source]¶

waiter_max_attempts = 60[source]¶

deferrable = True[source]¶

execute(context)[source]¶

创建 operator 时派生。

Context 是用于渲染 jinja 模板的同一字典。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event=None)[source]¶