`airflow.providers.amazon.aws.executors.batch.utils`¶

模块内容¶

类¶

`BatchQueuedJob`	表示已排队的 Batch 作业。该作业将在下次心跳中运行。
`BatchJobInfo`	包含有关当前正在运行的 Batch 作业的信息。
`BatchJob`	AWS Batch 作业的数据传输对象。
`BatchJobCollection`	用于管理正在运行的 Batch 作业的集合。
`BatchSubmitJobKwargsConfigKeys`	加载到配置中的、有效的 Batch submit_job kwargs 键。
`AllBatchConfigKeys`	加载到配置中的、与 Batch 执行器相关的所有键。

属性¶

`CommandType`
`ExecutorConfigType`
`CONFIG_GROUP_NAME`
`CONFIG_DEFAULTS`

airflow.providers.amazon.aws.executors.batch.utils.CommandType[来源]¶

airflow.providers.amazon.aws.executors.batch.utils.ExecutorConfigType[来源]¶

airflow.providers.amazon.aws.executors.batch.utils.CONFIG_GROUP_NAME = 'aws_batch_executor'[来源]¶

airflow.providers.amazon.aws.executors.batch.utils.CONFIG_DEFAULTS[来源]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchQueuedJob[来源]¶

表示已排队的 Batch 作业。该作业将在下次心跳中运行。

key: airflow.models.taskinstance.TaskInstanceKey[来源]¶

command: CommandType[来源]¶

queue: str[来源]¶

executor_config: ExecutorConfigType[来源]¶

attempt_number: int[来源]¶

next_attempt_time: datetime.datetime[来源]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchJobInfo[来源]¶

包含有关当前正在运行的 Batch 作业的信息。

cmd: CommandType[来源]¶

queue: str[来源]¶

config: ExecutorConfigType[来源]¶

class airflow.providers.amazon.aws.executors.batch.utils.BatchJob(job_id, status, status_reason=None)[来源]¶

AWS Batch 作业的数据传输对象。

STATE_MAPPINGS[来源]¶

get_job_state()[来源]¶

返回作业的状态。

__repr__()[来源]¶: 返回作业状态的可视化表示。

class airflow.providers.amazon.aws.executors.batch.utils.BatchJobCollection[来源]¶

用于管理正在运行的 Batch 作业的集合。

add_job(job_id, airflow_task_key, airflow_cmd, queue, exec_config, attempt_number)[来源]¶

向集合中添加作业。

pop_by_id(job_id)[来源]¶

根据 Batch 作业 ID 从集合中删除作业。

failure_count_by_id(job_id)[source]¶

获取给定 Batch 作业 ID 的作业失败次数。

increment_failure_count(job_id)[source]¶

递增给定 Batch 作业 ID 的失败计数器。

get_all_jobs()[source]¶

获取集合中的所有 AWS ARN。

__len__()[source]¶: 返回集合中的作业数量。

class airflow.providers.amazon.aws.executors.batch.utils.BatchSubmitJobKwargsConfigKeys[source]¶

基类： airflow.providers.amazon.aws.executors.utils.base_config_keys.BaseConfigKeys

加载到配置中的、有效的 Batch submit_job kwargs 键。

JOB_NAME = 'job_name'[source]¶

JOB_QUEUE = 'job_queue'[source]¶

JOB_DEFINITION = 'job_definition'[source]¶

EKS_PROPERTIES_OVERRIDE = 'eks_properties_override'[source]¶

NODE_OVERRIDE = 'node_override'[source]¶

class airflow.providers.amazon.aws.executors.batch.utils.AllBatchConfigKeys[source]¶

基类：BatchSubmitJobKwargsConfigKeys

加载到配置中的、与 Batch 执行器相关的所有键。

MAX_SUBMIT_JOB_ATTEMPTS = 'max_submit_job_attempts'[source]¶

AWS_CONN_ID = 'conn_id'[source]¶

SUBMIT_JOB_KWARGS = 'submit_job_kwargs'[source]¶

REGION_NAME = 'region_name'[source]¶

CHECK_HEALTH_ON_STARTUP = 'check_health_on_startup'[source]¶

exception airflow.providers.amazon.aws.executors.batch.utils.BatchExecutorException[source]¶

基类：Exception

当 AWS Batch 生态系统中发生意外情况时抛出。

airflow.providers.amazon.aws.executors.batch.utils¶

模块内容¶

类¶

属性¶

`airflow.providers.amazon.aws.executors.batch.utils`¶