airflow.providers.amazon.aws.triggers.emr¶

类¶

`EmrAddStepsTrigger`	轮询 EMR 步骤的状态，直到它们达到终止状态。
`EmrCreateJobFlowTrigger`	异步轮询 boto3 API 并等待 JobFlow 执行完成。
`EmrTerminateJobFlowTrigger`	异步轮询 boto3 API 并等待 JobFlow 终止完成。
`EmrContainerTrigger`	轮询 EMR 容器的状态，直到达到终止状态。
`EmrStepSensorTrigger`	轮询 EMR 容器的状态，直到达到终止状态。
`EmrServerlessCreateApplicationTrigger`	轮询 EMR Serverless 应用程序并等待其创建完成。
`EmrServerlessStartApplicationTrigger`	轮询 EMR Serverless 应用程序并等待其启动完成。
`EmrServerlessStopApplicationTrigger`	轮询 EMR Serverless 应用程序并等待其停止完成。
`EmrServerlessStartJobTrigger`	轮询 EMR Serverless 作业运行并等待其完成。
`EmrServerlessDeleteApplicationTrigger`	轮询 EMR Serverless 应用程序并等待其删除完成。
`EmrServerlessCancelJobsTrigger`	用于取消 EMR Serverless 应用程序中作业列表的 Trigger。

模块内容¶

class airflow.providers.amazon.aws.triggers.emr.EmrAddStepsTrigger(job_flow_id, step_ids, waiter_delay, waiter_max_attempts, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 步骤的状态，直到它们达到终止状态。

参数:

job_flow_id (str) – 包含需要检查状态的步骤的 job_flow_id
step_ids (list[str]) – 需要检查状态的步骤
waiter_delay (int) – 检查状态的轮询周期（秒）
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrCreateJobFlowTrigger(job_flow_id, aws_conn_id=None, waiter_delay=30, waiter_max_attempts=60)[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

异步轮询 boto3 API 并等待 JobFlow 执行完成。

参数:

job_flow_id (str) – 需要等待的作业流程 ID。
waiter_delay (int) – 两次尝试之间的等待时间（秒）。
waiter_max_attempts (int) – 最大尝试次数。
aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrTerminateJobFlowTrigger(job_flow_id, aws_conn_id=None, waiter_delay=30, waiter_max_attempts=60)[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

异步轮询 boto3 API 并等待 JobFlow 终止完成。

参数:

job_flow_id (str) – 需要终止的 EMR 作业流程 ID
waiter_delay (int) – 两次尝试之间的等待时间（秒）。
waiter_max_attempts (int) – 最大尝试次数。
aws_conn_id (str | None) – 用于 AWS 凭证的 Airflow 连接。

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrContainerTrigger(virtual_cluster_id, job_id, aws_conn_id='aws_default', waiter_delay=30, waiter_max_attempts=sys.maxsize)[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 容器的状态，直到达到终止状态。

参数:

virtual_cluster_id (str) – EMR 集群 ID 的引用
job_id (str) – 需要检查状态的 job_id
aws_conn_id (str | None) – AWS 连接 ID 的引用
waiter_delay (int) – 检查状态的轮询周期（秒）
waiter_max_attempts (int) – 最大尝试次数。默认为无限等待。

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrStepSensorTrigger(job_flow_id, step_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 容器的状态，直到达到终止状态。

参数:

job_flow_id (str) – 包含需要检查状态的步骤的 job_flow_id
step_id (str) – 需要检查状态的步骤
waiter_delay (int) – 检查状态的轮询周期（秒）
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessCreateApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR Serverless 应用程序并等待其创建完成。

参数:

application_id (str) – 正在轮询的应用程序 ID。
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

Waiter_delay:

检查状态的轮询周期（秒）

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStartApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR Serverless 应用程序并等待其启动完成。

参数:

application_id (str) – 正在轮询的应用程序 ID。
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

Waiter_delay:

检查状态的轮询周期（秒）

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStopApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR Serverless 应用程序并等待其停止完成。

参数:

application_id (str) – 正在轮询的应用程序 ID。
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用。

Waiter_delay:

检查状态的轮询周期（秒）

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStartJobTrigger(application_id, job_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR Serverless 作业运行并等待其完成。

参数:

application_id (str) – 作业正在其上运行的应用程序 ID。
job_id (str | None) – 作业运行的 ID。
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

Waiter_delay:

检查状态的轮询周期（秒）

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessDeleteApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR Serverless 应用程序并等待其删除完成。

参数:

application_id (str) – 正在轮询的应用程序 ID。
waiter_max_attempts (int) – 最大尝试次数
aws_conn_id (str | None) – AWS 连接 ID 的引用

Waiter_delay:

检查状态的轮询周期（秒）

hook()[source]¶

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessCancelJobsTrigger(application_id, aws_conn_id, waiter_delay, waiter_max_attempts)[source]¶

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

用于取消 EMR Serverless 应用程序中作业列表的 Trigger。

参数:

application_id (str) – EMR Serverless 应用程序 ID
aws_conn_id (str | None) – AWS 连接 ID 的引用
waiter_delay (int) – 每次检查状态之间的延迟时间（秒）
waiter_max_attempts (int) – 最大检查状态尝试次数

hook()[source]¶

在子类中重写以返回正确的 hook。

property hook_instance: airflow.providers.amazon.aws.hooks.base_aws.AwsGenericHook[source]¶

添加此属性是为了向后兼容。