Microsoft Azure Data Lake Storage Gen2 连接¶
Microsoft Azure Data Lake Storage Gen2 连接类型支持 ADLS gen2 集成。
向 Azure Data Lake Storage Gen2 认证¶
目前,有三种方法可以使用 Airflow 连接到 Azure Data Lake Storage Gen2。
使用令牌凭据,即向 Airflow 连接添加特定凭据(client_id、secret、tenant)和订阅 ID。
使用连接字符串,即向 Airflow 连接中的
connection_string
添加连接字符串。回退到DefaultAzureCredential。这包括尝试不同选项来进行认证的机制:托管系统标识、环境变量、通过 Azure CLI 进行认证等。
一次只能使用一种授权方法。如果你需要管理多个凭据或密钥,则应该配置多个连接。
默认连接 ID¶
所有与 Microsoft Azure Blob Storage 相关的钩子和操作员默认使用azure_data_lake_default
。
配置连接¶
- 登录(可选)
指定用于 Azure Blob 存储的登录信息。与共享密钥凭据和 SAS 令牌身份验证配合使用。可以将其省略,以回退到 DefaultAzureCredential。
- 密码(可选)
指定用于 Azure Blob 存储的密码。与 Active Directory(令牌凭据)和共享密钥身份验证配合使用。可以将其省略,以回退到 DefaultAzureCredential。
- 主机(可选)
指定用于匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。可以将其省略,以回退到 DefaultAzureCredential。
- 其他(可选)
指定可在 Azure 连接中使用的其他参数(作为 JSON 字典)。以下参数均为可选
tenant_id
:指定要使用的租户。Active Directory(令牌)身份验证需要。可以将其省略,以回退到 DefaultAzureCredential。connection_string
:用于连接字符串身份验证的连接字符串。可以将其省略,以回退到 DefaultAzureCredential。
在环境变量中指定连接时,应使用 URI 语法指定连接。
请注意,URI 的所有组件都应经过 URL 编码。