Microsoft Azure Data Lake Storage Gen2 连接¶
Microsoft Azure Data Lake Storage Gen2 连接类型支持 ADLS Gen2 集成。
向 Azure Data Lake Storage Gen2 进行身份验证¶
目前,有三种方法可以使用 Airflow 连接到 Azure Data Lake Storage Gen2。
使用 令牌凭据,即向 Airflow 连接添加特定凭据 (client_id, secret, tenant) 和订阅 ID。
使用 连接字符串,即在 Airflow 连接中将连接字符串添加到
connection_string
中。回退到 DefaultAzureCredential。这包括尝试不同身份验证选项的机制:托管系统身份、环境变量、通过 Azure CLI 进行身份验证等。
一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。
默认连接 ID¶
所有与 Microsoft Azure Blob Storage 相关的 hook 和 operator 默认使用 azure_data_lake_default
。
配置连接¶
- 登录 (可选)
指定用于 Azure Blob Storage 的登录名。用于共享密钥凭据和 SAS 令牌身份验证。可以省略以回退到 DefaultAzureCredential。
- 密码 (可选)
指定用于 Azure Blob Storage 的密码。用于 Active Directory (令牌凭据) 和共享密钥身份验证。可以省略以回退到 DefaultAzureCredential。
- 主机 (可选)
指定用于匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。可以省略以回退到 DefaultAzureCredential。
- 额外参数 (可选)
指定可在 Azure 连接中使用的额外参数(作为 JSON 字典)。以下参数均为可选
tenant_id
:指定要使用的租户。Active Directory (令牌) 身份验证所需。可以省略以回退到 DefaultAzureCredential。connection_string
:用于连接字符串身份验证的连接字符串。可以省略以回退到 DefaultAzureCredential。
在环境变量中指定连接时,应使用 URI 语法进行指定。
请注意,URI 的所有组件都应进行 URL 编码。