Microsoft Azure Data Lake 连接¶
Microsoft Azure Data Lake 连接类型支持 Azure Data Lake 集成。
向 Azure Data Lake 认证¶
使用 Airflow 连接到 Azure Data Lake 的方法有以下一种。
使用令牌凭据，即向 Airflow 连接添加特定凭据（client_id、secret、tenant）和帐户名称。
回退到DefaultAzureCredential。这包括尝试不同选项以进行认证的机制：托管系统标识、环境变量、通过 Azure CLI 进行认证...
默认连接 ID¶
所有与 Microsoft Azure Data Lake 相关的挂钩和操作符默认使用azure_data_lake_default。
配置连接¶
- 登录（可选）
指定用于初始连接的
client_id。这是令牌凭据身份验证机制所必需的。可以省略它以回退到DefaultAzureCredential。- 密码（可选）
指定用于初始连接的
secret。这仅适用于令牌凭据身份验证机制。可以省略它以回退到DefaultAzureCredential。- 额外（可选）
指定可在 Azure Data Lake 连接中使用的额外参数（作为 json 字典）。以下参数均为可选
tenant:（可选）指定要使用的租户。这是令牌凭据身份验证机制所必需的。可以省略它以回退到DefaultAzureCredential。account_name: 指定 azure data lake 帐户名称。这有时称为store_name
在环境变量中指定连接时，应使用 URI 语法指定它。
请注意，URI 的所有组件都应进行 URL 编码。
例如
export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'