Microsoft Azure Data Explorer

Azure Data Explorer 连接类型支持在 Airflow 中集成 Azure Data Explorer (ADX)。

Azure Data Explorer 身份验证

使用 Airflow 连接到 Azure Data Explorer 有五种方式。

  1. 使用 AAD 应用程序证书(即在 Airflow 连接中将“AAD_APP”或“AAD_APP_CERT”用作身份验证方法)。

  2. 使用 AAD 用户名和密码(即在 Airflow 连接中将“AAD_CREDS”用作身份验证方法)。

  3. 使用 AAD 设备代码(即在 Airflow 连接中将“AAD_DEVICE”用作身份验证方法)。

  4. 通过设置 managed_identity_client_idworkload_identity_tenant_id 使用托管标识(底层使用这些参数调用 DefaultAzureCredential

  5. 回退到 DefaultAzureCredential。这包含了一种尝试不同身份验证选项的机制:托管系统标识、环境变量、通过 Azure CLI 身份验证等。

一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。

默认连接 ID

所有与 Microsoft Azure Data Explorer 相关的 Hook 和 Operator 默认使用 azure_data_explorer_default

配置连接

Data Explorer 集群 URL

指定 Data Explorer 集群 URL。所有身份验证方法都需要。

身份验证方法

指定身份验证方法。可用的身份验证方法有

  • AAD_APP: 使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID (Tenant ID)。通过 Username 和 Password 参数提供应用程序 ID 和应用程序密钥。

  • AAD_APP_CERT: 使用 AAD 应用程序证书进行身份验证。使用此方法时需要租户 ID (Tenant ID)、应用程序 PEM 证书和应用程序证书指纹。

  • AAD_CREDS: 使用 AAD 用户名和密码进行身份验证。使用此方法时需要租户 ID (Tenant ID)。Username 和 Password 参数用于 AAD 身份验证。

  • AAD_DEVICE: 使用 AAD 设备代码进行身份验证。请注意,如果选择此选项,则需要为每个新初始化的实例进行身份验证。强烈建议创建一个实例并将其用于所有查询。

  • AZURE_TOKEN_CRED: 使用 DefaultAzureCredential 进行身份验证。这包含了一种尝试不同身份验证选项的机制:托管系统标识、环境变量、通过 Azure CLI 身份验证等。使用此方法时,仅需要“Data Explorer 集群 URL”。

用户名(可选)

指定用于 data explorer 的用户名。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 身份验证方法需要。

密码(可选)

指定用于 data explorer 的密码。AAD_APP 和 AAD_CREDS 身份验证方法需要。

租户 ID(可选)

指定 AAD 租户。AAD_APP、AAD_APP_CERT 和 AAD_CREDS 需要。

应用程序 PEM 证书(可选)

指定证书。AAD_APP_CERT 身份验证方法需要。

应用程序证书指纹(可选)

指定与 AAD_APP_CERT 身份验证方法一起使用所需的指纹。

托管标识客户端 ID(可选)

用户分配的托管标识的客户端 ID。如果与 workload_identity_tenant_id 一起提供,它们将传递给 DefaultAzureCredential

工作负载标识租户 ID(可选)

应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与 managed_identity_client_id 一起提供,它们将传递给 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法指定。

请注意,URI 的所有组件都应进行 URL 编码。

例如

export AIRFLOW_CONN_AZURE_DATA_EXPLORER_DEFAULT='azure-data-explorer://add%20username:add%20password@mycluster.com?auth_method=AAD_APP&tenant=tenant+id'

此条目有帮助吗?