Microsoft Azure Data Explorer¶

Azure Data Explorer 连接类型支持在 Airflow 中集成 Azure Data Explorer (ADX)。

Azure Data Explorer 身份验证¶

使用 Airflow 连接到 Azure Data Explorer 有五种方式。

使用 AAD 应用程序证书（即在 Airflow 连接中将“AAD_APP”或“AAD_APP_CERT”用作身份验证方法）。
使用 AAD 用户名和密码（即在 Airflow 连接中将“AAD_CREDS”用作身份验证方法）。
使用 AAD 设备代码（即在 Airflow 连接中将“AAD_DEVICE”用作身份验证方法）。
通过设置 managed_identity_client_id、workload_identity_tenant_id 使用托管标识（底层使用这些参数调用 DefaultAzureCredential）
回退到 DefaultAzureCredential。这包含了一种尝试不同身份验证选项的机制：托管系统标识、环境变量、通过 Azure CLI 身份验证等。

一次只能使用一种授权方法。如果您需要管理多个凭据或密钥，则应配置多个连接。

默认连接 ID¶

所有与 Microsoft Azure Data Explorer 相关的 Hook 和 Operator 默认使用 azure_data_explorer_default。

配置连接¶

Data Explorer 集群 URL

指定 Data Explorer 集群 URL。所有身份验证方法都需要。

身份验证方法

指定身份验证方法。可用的身份验证方法有

AAD_APP: 使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID (Tenant ID)。通过 Username 和 Password 参数提供应用程序 ID 和应用程序密钥。
AAD_APP_CERT: 使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID (Tenant ID)、应用程序 PEM 证书和应用程序证书指纹。
AAD_CREDS: 使用 AAD 用户名和密码进行身份验证。使用此方法时需要租户 ID (Tenant ID)。Username 和 Password 参数用于 AAD 身份验证。
AAD_DEVICE: 使用 AAD 设备代码进行身份验证。请注意，如果选择此选项，则需要为每个新初始化的实例进行身份验证。强烈建议创建一个实例并将其用于所有查询。
AZURE_TOKEN_CRED: 使用 DefaultAzureCredential 进行身份验证。这包含了一种尝试不同身份验证选项的机制：托管系统标识、环境变量、通过 Azure CLI 身份验证等。使用此方法时，仅需要“Data Explorer 集群 URL”。

用户名（可选）

指定用于 data explorer 的用户名。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 身份验证方法需要。

密码（可选）

指定用于 data explorer 的密码。AAD_APP 和 AAD_CREDS 身份验证方法需要。

租户 ID（可选）

指定 AAD 租户。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 需要。

应用程序 PEM 证书（可选）

指定证书。AAD_APP_CERT 身份验证方法需要。

应用程序证书指纹（可选）

指定与 AAD_APP_CERT 身份验证方法一起使用所需的指纹。

托管标识客户端 ID（可选）

用户分配的托管标识的客户端 ID。如果与 workload_identity_tenant_id 一起提供，它们将传递给 DefaultAzureCredential。

工作负载标识租户 ID（可选）

应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与 managed_identity_client_id 一起提供，它们将传递给 DefaultAzureCredential。

在环境变量中指定连接时，应使用 URI 语法指定。

请注意，URI 的所有组件都应进行 URL 编码。

例如

export AIRFLOW_CONN_AZURE_DATA_EXPLORER_DEFAULT='azure-data-explorer://add%20username:add%20password@mycluster.com?auth_method=AAD_APP&tenant=tenant+id'