airflow.providers.microsoft.azure.hooks.batch¶

类¶

AzureBatchHook

Azure Batch API 的 Hook。

模块内容¶

class airflow.providers.microsoft.azure.hooks.batch.AzureBatchHook(azure_batch_conn_id=default_conn_name)[source]¶

基类: airflow.hooks.base.BaseHook

Azure Batch API 的 Hook。

参数:: azure_batch_conn_id (str) – 将用于启动容器实例的服务主体的 Azure Batch 连接 ID。

conn_name_attr = 'azure_batch_conn_id'[source]¶

default_conn_name = 'azure_batch_default'[source]¶

conn_type = 'azure_batch'[source]¶

hook_name = 'Azure Batch Service'[source]¶

classmethod get_connection_form_widgets()[source]¶

返回要添加到连接表单的连接小部件。

classmethod get_ui_field_behaviour()[source]¶

返回自定义字段行为。

conn_id = 'azure_batch_default'[source]¶

property connection: azure.batch.BatchServiceClient[source]¶

获取 Batch 客户端连接（已缓存）。

get_conn()[source]¶

获取 Batch 客户端连接。

返回:: Azure Batch 客户端
返回类型:: azure.batch.BatchServiceClient

configure_pool(pool_id, vm_size, vm_node_agent_sku_id, vm_publisher=None, vm_offer=None, sku_starts_with=None, vm_sku=None, vm_version=None, os_family=None, os_version=None, display_name=None, target_dedicated_nodes=None, use_latest_image_and_sku=False, **kwargs)[source]¶

配置一个池。

参数:

pool_id (str) – 在帐户中唯一标识池的字符串
vm_size (str) – 池中虚拟机的大小。
display_name (str | None) – 池的显示名称
target_dedicated_nodes (int | None) – 池中专用计算节点的期望数量。
use_latest_image_and_sku (bool) – 是否使用最新的验证过的 VM 镜像和 SKU
vm_publisher (str | None) – Azure 虚拟机市场镜像的发布者。例如，Canonical 或 MicrosoftWindowsServer。
vm_offer (str | None) – Azure 虚拟机市场镜像的提供类型。例如，UbuntuServer 或 WindowsServer。
sku_starts_with (str | None) – 要搜索的 SKU 的起始名称
vm_sku (str | None) – 要使用的虚拟机 SKU 名称
vm_version (str | None) – 虚拟机的版本
vm_version – str
vm_node_agent_sku_id (str) – 虚拟机的节点代理 SKU ID
os_family (str | None) – 将安装在池中虚拟机上的 Azure 来宾操作系统系列。
os_version (str | None) – 操作系统系列版本

create_pool(pool)[source]¶

如果池不存在则创建一个。

参数:: pool (azure.batch.models.PoolAddParameter) – 要创建的池对象

wait_for_all_node_state(pool_id, node_state)[source]¶

等待池中的所有节点达到给定状态。

参数:

pool_id (str) – 标识池的字符串
node_state (set) – 一组 batch_models.ComputeNodeState

configure_job(job_id, pool_id, display_name=None, **kwargs)[source]¶

配置一个作业以在池中使用。

参数:

job_id (str) – 在帐户中唯一标识作业的字符串
pool_id (str) – 标识池的字符串
display_name (str | None) – 作业的显示名称

create_job(job)[source]¶

在池中创建一个作业。

参数:: job (azure.batch.models.JobAddParameter) – 要创建的作业对象

configure_task(task_id, command_line, display_name=None, container_settings=None, **kwargs)[source]¶

创建一个任务。

参数:

task_id (str) – 标识要创建的任务的字符串
command_line (str) – 任务的命令行。
display_name (str | None) – 任务的显示名称
container_settings – 任务运行所在的容器设置。如果将运行此任务的池设置了 containerConfiguration，则此项也必须设置。如果将运行此任务的池未设置 containerConfiguration，则此项不得设置。

add_single_task_to_job(job_id, task)[source]¶

如果指定作业不存在则向其添加一个任务。

参数:

job_id (str) – 标识指定作业的字符串
task (azure.batch.models.TaskAddParameter) – 要添加的任务

wait_for_job_tasks_to_complete(job_id, timeout)[source]¶

等待特定作业中的任务完成。

参数:

job_id (str) – 标识作业的字符串
timeout (int) – 超时前等待的时间，单位为分钟

test_connection()[source]¶: 测试已配置的 Azure Batch 连接。