Microsoft Azure Data Lake 连接

Microsoft Azure Data Lake 连接类型支持 Azure Data Lake 集成。

Azure Data Lake 身份验证

使用 Airflow 连接到 Azure Data Lake 有以下几种方式。

  1. 使用 令牌凭据，即：将特定凭据（client_id、secret、tenant）和账户名添加到 Airflow 连接中。

  2. 回退到 DefaultAzureCredential。这包括尝试不同认证选项的机制：托管系统身份、环境变量、通过 Azure CLI 进行认证等。

默认连接 ID¶

所有与 Microsoft Azure Data Lake 相关的 hook 和 operator 默认使用 azure_data_lake_default。

配置连接¶

登录 (可选)

指定用于初始连接的 client_id。这需要用于 令牌凭据 认证机制。可以省略，以回退到 DefaultAzureCredential。

密码 (可选)

指定用于初始连接的 secret。这仅需要用于 令牌凭据 认证机制。可以省略，以回退到 DefaultAzureCredential。

额外参数 (可选)

指定可用于 Azure Data Lake 连接的额外参数（作为 JSON 字典）。以下参数均为可选

  • tenant: (可选) 指定要使用的租户 (tenant)。这需要用于 令牌凭据 认证机制。可以省略，以回退到 DefaultAzureCredential。

  • account_name: 指定 azure data lake 账户名。有时也称为 store_name

在环境变量中指定连接时，应使用 URI 语法指定它。

注意，URI 的所有组成部分都应进行 URL 编码。

例如

export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'

此条目有用吗？