Microsoft Azure Data Lake 连接¶
Microsoft Azure Data Lake 连接类型支持 Azure Data Lake 集成。
Azure Data Lake 身份验证¶
使用 Airflow 连接到 Azure Data Lake 有以下几种方式。
使用 令牌凭据,即:将特定凭据(client_id、secret、tenant)和账户名添加到 Airflow 连接中。
回退到 DefaultAzureCredential。这包括尝试不同认证选项的机制:托管系统身份、环境变量、通过 Azure CLI 进行认证等。
默认连接 ID¶
所有与 Microsoft Azure Data Lake 相关的 hook 和 operator 默认使用 azure_data_lake_default
。
配置连接¶
- 登录 (可选)
指定用于初始连接的
client_id
。这需要用于 令牌凭据 认证机制。可以省略,以回退到DefaultAzureCredential
。- 密码 (可选)
指定用于初始连接的
secret
。这仅需要用于 令牌凭据 认证机制。可以省略,以回退到DefaultAzureCredential
。- 额外参数 (可选)
指定可用于 Azure Data Lake 连接的额外参数(作为 JSON 字典)。以下参数均为可选
tenant
: (可选) 指定要使用的租户 (tenant)。这需要用于 令牌凭据 认证机制。可以省略,以回退到DefaultAzureCredential
。account_name
: 指定 azure data lake 账户名。有时也称为store_name
在环境变量中指定连接时,应使用 URI 语法指定它。
注意,URI 的所有组成部分都应进行 URL 编码。
例如
export AIRFLOW_CONN_AZURE_DATA_LAKE_DEFAULT='azure-data-lake://client%20id:secret@?tenant=tenant+id&account_name=store+name'