Microsoft Azure Data Lake Storage Gen2 连接

Microsoft Azure Data Lake Storage Gen2 连接类型支持 ADLS Gen2 集成。

向 Azure Data Lake Storage Gen2 进行身份验证

目前,有三种方法可以使用 Airflow 连接到 Azure Data Lake Storage Gen2。

  1. 使用 令牌凭据,即向 Airflow 连接添加特定凭据 (client_id, secret, tenant) 和订阅 ID。

  2. 使用 连接字符串,即在 Airflow 连接中将连接字符串添加到 connection_string 中。

  3. 回退到 DefaultAzureCredential。这包括尝试不同身份验证选项的机制:托管系统身份、环境变量、通过 Azure CLI 进行身份验证等。

一次只能使用一种授权方法。如果您需要管理多个凭据或密钥,则应配置多个连接。

默认连接 ID

所有与 Microsoft Azure Blob Storage 相关的 hook 和 operator 默认使用 azure_data_lake_default

配置连接

登录 (可选)

指定用于 Azure Blob Storage 的登录名。用于共享密钥凭据和 SAS 令牌身份验证。可以省略以回退到 DefaultAzureCredential

密码 (可选)

指定用于 Azure Blob Storage 的密码。用于 Active Directory (令牌凭据) 和共享密钥身份验证。可以省略以回退到 DefaultAzureCredential

主机 (可选)

指定用于匿名公共读取、Active Directory、共享访问密钥身份验证的帐户 URL。可以省略以回退到 DefaultAzureCredential

额外参数 (可选)

指定可在 Azure 连接中使用的额外参数(作为 JSON 字典)。以下参数均为可选

  • tenant_id:指定要使用的租户。Active Directory (令牌) 身份验证所需。可以省略以回退到 DefaultAzureCredential

  • connection_string:用于连接字符串身份验证的连接字符串。可以省略以回退到 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法进行指定。

请注意,URI 的所有组件都应进行 URL 编码。

此条目有帮助吗?