airflow.providers.microsoft.azure.hooks.batch

模块内容

类

AzureBatchHook

用于 Azure Batch API 的 Hook。
class airflow.providers.microsoft.azure.hooks.batch.AzureBatchHook(azure_batch_conn_id=default_conn_name)[source]

基类：airflow.hooks.base.BaseHook

用于 Azure Batch API 的 Hook。

参数

azure_batch_conn_id (str) – Azure Batch 连接 ID，服务主体将使用此 ID 启动容器实例。

conn_name_attr = 'azure_batch_conn_id'[source]
default_conn_name = 'azure_batch_default'[source]
conn_type = 'azure_batch'[source]
hook_name = 'Azure Batch 服务'[source]
classmethod get_connection_form_widgets()[source]

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]

返回自定义字段行为。

connection()[source]

获取 Batch 客户端连接（已缓存）。

get_conn()[source]

获取 Batch 客户端连接。

返回

Azure Batch 客户端

返回类型

azure.batch.BatchServiceClient

configure_pool(pool_id, vm_size, vm_node_agent_sku_id, vm_publisher=None, vm_offer=None, sku_starts_with=None, vm_sku=None, vm_version=None, os_family=None, os_version=None, display_name=None, target_dedicated_nodes=None, use_latest_image_and_sku=False, **kwargs)[source]

配置池。

参数

  • pool_id (str) – 一个字符串，用于在帐户中唯一标识池

  • vm_size (str) – 池中虚拟机的大小。

  • display_name (str | None) – 池的显示名称

  • target_dedicated_nodes (int | None) – 池中所需的专用计算节点数。

  • use_latest_image_and_sku (bool) – 是否使用最新的已验证的虚拟机镜像和 SKU

  • vm_publisher (str | None) – Azure 虚拟机市场映像的发布者。例如，Canonical 或 MicrosoftWindowsServer。

  • vm_offer (str | None) – Azure 虚拟机市场映像的报价类型。例如，UbuntuServer 或 WindowsServer。

  • sku_starts_with (str | None) – 要搜索的 SKU 的起始名称

  • vm_sku (str | None) – 要使用的虚拟机 SKU 的名称

  • vm_version (str | None) – 虚拟机的版本

  • vm_version – str

  • vm_node_agent_sku_id (str) – 虚拟机的节点代理 SKU ID

  • os_family (str | None) – 要安装在池中虚拟机上的 Azure Guest OS 系列。

  • os_version (str | None) – OS 系列版本

create_pool(pool)[source]

如果池不存在则创建它。

参数

pool (azure.batch.models.PoolAddParameter) – 要创建的池对象

wait_for_all_node_state(pool_id, node_state)[source]

等待池中的所有节点达到给定状态。

参数

  • pool_id (str) – 用于标识池的字符串

  • node_state (set) – 一组 batch_models.ComputeNodeState

configure_job(job_id, pool_id, display_name=None, **kwargs)[源代码]

配置要在池中使用的作业。

参数

  • job_id (str) – 在帐户中唯一标识作业的字符串

  • pool_id (str) – 用于标识池的字符串

  • display_name (str | None) – 作业的显示名称

create_job(job)[源代码]

在池中创建一个作业。

参数

job (azure.batch.models.JobAddParameter) – 要创建的作业对象

configure_task(task_id, command_line, display_name=None, container_settings=None, **kwargs)[源代码]

创建一个任务。

参数

  • task_id (str) – 用于标识要创建的任务的字符串

  • command_line (str) – 任务的命令行。

  • display_name (str | None) – 任务的显示名称

  • container_settings – 任务在其下运行的容器的设置。如果将运行此任务的池设置了 containerConfiguration，则也必须设置此项。如果将运行此任务的池未设置 containerConfiguration，则不得设置此项。

add_single_task_to_job(job_id, task)[源代码]

如果给定作业不存在，则向其添加单个任务。

参数

  • job_id (str) – 用于标识给定作业的字符串

  • task (azure.batch.models.TaskAddParameter) – 要添加的任务

wait_for_job_tasks_to_complete(job_id, timeout)[源代码]

等待特定作业中的任务完成。

参数

  • job_id (str) – 用于标识作业的字符串

  • timeout (int) – 超时前等待的时间量（以分钟为单位）

test_connection()[源代码]

测试已配置的 Azure Batch 连接。

此条目是否有帮助？