`airflow.providers.amazon.aws.utils.waiter`¶

模块内容¶

类¶

WaitPolicy

用于控制 EMRClusterJobFlowOperator 中的等待行为。

函数¶

`waiter`(get_state_callable, get_state_args, ...[, ...])	调用 get_state_callable，直到它达到 desired_state 或 failure_states。
`get_state`(response, keys)

属性¶

`log`
`WAITER_POLICY_NAME_MAPPING`

airflow.providers.amazon.aws.utils.waiter.log[源代码]¶

airflow.providers.amazon.aws.utils.waiter.waiter(get_state_callable, get_state_args, parse_response, desired_state, failure_states, object_type, action, countdown=25 * 60, check_interval_seconds=60)[源代码]¶

调用 get_state_callable，直到它达到 desired_state 或 failure_states。

请注意：虽然尚未弃用，但我们正在逐步放弃此方法: 并鼓励使用自定义 boto 等待器，如 https://github.com/apache/airflow/tree/main/airflow/providers/amazon/aws/waiters 中所述

参数

get_state_callable (Callable) – 一个可调用的对象，会一直运行直到返回 True
get_state_args (dict) – 传递给 get_state_callable 的参数
parse_response (list) – 用于从 get_state_callable 的响应中提取状态的字典键
desired_state (set) – 等待直到 getter 返回此值
failure_states (set) – 一组表示失败的状态，如果在达到 desired_state 之前达到任何一种状态，则应抛出异常
object_type (str) – 用于报告字符串。您正在等待什么？（应用程序、作业等）
action (str) – 用于报告字符串。您正在等待什么操作？（已创建、已删除等）
countdown (int | float | None) – 等待器在超时之前应等待所需状态的秒数。默认为 25 * 60 秒。None = 无限。
check_interval_seconds (int) – 等待器在尝试重试 get_state_callable 之前应等待的秒数。默认为 60 秒。

airflow.providers.amazon.aws.utils.waiter.get_state(response, keys)[源代码]¶

class airflow.providers.amazon.aws.utils.waiter.WaitPolicy[源代码]¶

基类：str, enum.Enum

用于控制 EMRClusterJobFlowOperator 中的等待行为。

选项：- WAIT_FOR_COMPLETION - 将等待集群报告“正在运行”状态 - WAIT_FOR_STEPS_COMPLETION - 将等待集群报告“已终止”状态

WAIT_FOR_COMPLETION = 'wait_for_completion'[源代码]¶

WAIT_FOR_STEPS_COMPLETION = 'wait_for_steps_completion'[源代码]¶

airflow.providers.amazon.aws.utils.waiter.WAITER_POLICY_NAME_MAPPING: dict[WaitPolicy, str][源代码]¶

airflow.providers.amazon.aws.utils.waiter¶

模块内容¶

类¶

函数¶

属性¶

`airflow.providers.amazon.aws.utils.waiter`¶