airflow.providers.amazon.aws.triggers.emr

模块内容

类

EmrAddStepsTrigger

轮询 EMR 步骤的状态，直到它们达到终端状态。

EmrCreateJobFlowTrigger

异步轮询 boto3 API 并等待 JobFlow 完成执行。

EmrTerminateJobFlowTrigger

异步轮询 boto3 API 并等待 JobFlow 完成终止。

EmrContainerTrigger

轮询 EMR 容器的状态，直到达到终端状态。

EmrStepSensorTrigger

轮询 EMR 容器的状态，直到达到终端状态。

EmrServerlessCreateApplicationTrigger

轮询 Emr Serverless 应用程序并等待其创建完成。

EmrServerlessStartApplicationTrigger

轮询 Emr Serverless 应用程序并等待其启动完成。

EmrServerlessStopApplicationTrigger

轮询 Emr Serverless 应用程序并等待其停止完成。

EmrServerlessStartJobTrigger

轮询 Emr Serverless 作业运行并等待其完成。

EmrServerlessDeleteApplicationTrigger

轮询 Emr Serverless 应用程序并等待其删除完成。

EmrServerlessCancelJobsTrigger

用于取消 EMR Serverless 应用程序中作业列表的触发器。
class airflow.providers.amazon.aws.triggers.emr.EmrAddStepsTrigger(job_flow_id, step_ids, waiter_delay, waiter_max_attempts, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 步骤的状态，直到它们达到终端状态。

参数

  • job_flow_id (str) – 包含要检查其状态的步骤的 job_flow_id

  • step_ids (list[str]) – 要检查其状态的步骤

  • waiter_delay (int) – 轮询状态的间隔时间（秒）

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrCreateJobFlowTrigger(job_flow_id, aws_conn_id=None, waiter_delay=30, waiter_max_attempts=60)[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

异步轮询 boto3 API 并等待 JobFlow 完成执行。

参数

  • job_flow_id (str) – 要等待的 Job Flow 的 ID。

  • waiter_delay (int) – 尝试之间等待的时间（秒）。

  • waiter_max_attempts (int) – 要进行的最大尝试次数。

  • aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrTerminateJobFlowTrigger(job_flow_id, aws_conn_id=None, waiter_delay=30, waiter_max_attempts=60)[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

异步轮询 boto3 API 并等待 JobFlow 完成终止。

参数

  • job_flow_id (str) – 要终止的 EMR Job Flow 的 ID

  • waiter_delay (int) – 尝试之间等待的时间（秒）。

  • waiter_max_attempts (int) – 要进行的最大尝试次数。

  • aws_conn_id (str | None) – 用于 AWS 凭据的 Airflow 连接。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrContainerTrigger(virtual_cluster_id, job_id, aws_conn_id='aws_default', waiter_delay=30, waiter_max_attempts=sys.maxsize)[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 容器的状态，直到达到终端状态。

参数

  • virtual_cluster_id (str) – 引用 Emr 集群 ID

  • job_id (str) – 要检查其状态的 job_id

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

  • waiter_delay (int) – 轮询状态的间隔时间（秒）

  • waiter_max_attempts (int) – 要进行的最大尝试次数。默认为无限等待。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrStepSensorTrigger(job_flow_id, step_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 EMR 容器的状态，直到达到终端状态。

参数

  • job_flow_id (str) – job_flow_id，其中包含要检查状态的步骤。

  • step_id (str) – 要检查状态的步骤。

  • waiter_delay (int) – 轮询状态的间隔时间（秒）

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessCreateApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 Emr Serverless 应用程序并等待其创建完成。

参数

  • application_id (str) – 被轮询的应用程序的 ID。

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

Waiter_delay

检查状态的轮询间隔，单位为秒。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStartApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 Emr Serverless 应用程序并等待其启动完成。

参数

  • application_id (str) – 被轮询的应用程序的 ID。

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

Waiter_delay

检查状态的轮询间隔，单位为秒。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStopApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 Emr Serverless 应用程序并等待其停止完成。

参数

  • application_id (str) – 被轮询的应用程序的 ID。

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 指向 AWS 连接 ID 的引用。

Waiter_delay

检查状态的轮询间隔，单位为秒。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessStartJobTrigger(application_id, job_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 Emr Serverless 作业运行并等待其完成。

参数

  • application_id (str) – 作业在其上运行的应用程序的 ID。

  • job_id (str | None) – 作业运行的 ID。

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

Waiter_delay

检查状态的轮询间隔，单位为秒。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessDeleteApplicationTrigger(application_id, waiter_delay=30, waiter_max_attempts=60, aws_conn_id='aws_default')[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

轮询 Emr Serverless 应用程序并等待其删除完成。

参数

  • application_id (str) – 被轮询的应用程序的 ID。

  • waiter_max_attempts (int) – 要进行的最大尝试次数

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

Waiter_delay

检查状态的轮询间隔，单位为秒。

hook()[source]

在子类中重写以返回正确的 hook。

class airflow.providers.amazon.aws.triggers.emr.EmrServerlessCancelJobsTrigger(application_id, aws_conn_id, waiter_delay, waiter_max_attempts)[source]

基类: airflow.providers.amazon.aws.triggers.base.AwsBaseWaiterTrigger

用于取消 EMR Serverless 应用程序中作业列表的触发器。

参数

  • application_id (str) – EMR Serverless 应用程序 ID

  • aws_conn_id (str | None) – 引用 AWS 连接 ID

  • waiter_delay (int) – 每次尝试检查状态之间的延迟时间，单位为秒

  • waiter_max_attempts (int) – 检查状态的最大尝试次数

property hook_instance: airflow.providers.amazon.aws.hooks.base_aws.AwsGenericHook[source]

此属性是为了向后兼容而添加的。

hook()[source]

在子类中重写以返回正确的 hook。

此条目是否有帮助？