Microsoft Azure 数据资源管理器¶
Azure 数据 资源管理器
连接类型支持 Airflow 中的 Azure 数据资源管理器 (ADX) 集成。
对 Azure 数据资源管理器进行身份验证¶
有五种方法可以使用 Airflow 连接到 Azure 数据资源管理器。
使用 AAD 应用程序证书(即在 Airflow 连接中使用“AAD_APP”或“AAD_APP_CERT”作为身份验证方法)。
使用 AAD 用户名和密码(即在 Airflow 连接中使用“AAD_CREDS”作为身份验证方法)。
使用 AAD 设备代码(即在 Airflow 连接中使用“AAD_DEVICE”作为身份验证方法)。
通过设置
managed_identity_client_id
、workload_identity_tenant_id
使用托管标识(底层,它使用 DefaultAzureCredential 与这些参数)。回退到 DefaultAzureCredential。这包括尝试不同选项进行身份验证的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。
一次只能使用一种授权方法。如果需要管理多个凭据或密钥,则应配置多个连接。
默认连接 ID¶
与 Microsoft Azure 数据资源管理器相关的所有钩子和操作符默认使用 azure_data_explorer_default
。
配置连接¶
- 数据资源管理器群集 URL
指定数据资源管理器群集 URL。所有身份验证方法都需要此项。
- 身份验证方法
指定身份验证方法。可用的身份验证方法有
AAD_APP:使用 AAD 应用程序证书进行身份验证。使用此方法时,需要租户 ID。通过用户名和密码参数提供应用程序 ID 和应用程序密钥。
AAD_APP_CERT:使用 AAD 应用程序证书进行身份验证。使用此方法时,需要租户 ID、应用程序 PEM 证书和应用程序证书指纹。
AAD_CREDS:使用 AAD 用户名和密码进行身份验证。使用此方法时,需要租户 ID。用户名和密码参数用于使用 AAD 进行身份验证。
AAD_DEVICE:使用 AAD 设备代码进行身份验证。请注意,如果选择此选项,则需要在初始化的每个新实例中进行身份验证。强烈建议创建一个实例并将其用于所有查询。
AZURE_TOKEN_CRED:使用 DefaultAzureCredential 进行身份验证。这包括尝试不同选项进行身份验证的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证等。使用此方法时,仅需要“数据资源管理器群集 URL”。
- 用户名(可选)
指定用于数据资源管理器的用户名。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 身份验证方法需要此项。
- 密码(可选)
指定用于数据资源管理器的密码。AAD_APP 和 AAD_CREDS 身份验证方法需要此项。
- 租户 ID(可选)
指定 AAD 租户。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 需要此项。
- 应用程序 PEM 证书(可选)
指定证书。AAD_APP_CERT 身份验证方法需要此项。
- 应用程序证书指纹(可选)
指定使用 AAD_APP_CERT 身份验证方法所需的指纹。
- 托管标识客户端 ID(可选)
用户分配的托管标识的客户端 ID。如果提供
workload_identity_tenant_id
,它们将传递到 DefaultAzureCredential。- 工作负载标识租户 ID(可选)
应用程序的 Microsoft Entra 租户的 ID。也称为其“目录”ID。如果提供
managed_identity_client_id
,它们将传递到 DefaultAzureCredential。
在环境变量中指定连接时,应使用 URI 语法指定它。
请注意,URI 的所有组件都应进行 URL 编码。
例如
export AIRFLOW_CONN_AZURE_DATA_EXPLORER_DEFAULT='azure-data-explorer://add%20username:add%[email protected]?auth_method=AAD_APP&tenant=tenant+id'