Microsoft Azure Data Factory

Microsoft Azure Data Factory 连接类型支持 Azure Data Factory 集成。

向 Azure Data Factory 进行身份验证

有三种方法可以使用 Airflow 连接到 Azure Data Factory。

  1. 使用令牌凭据,即向 Airflow 连接添加特定凭据(client_id、secret、tenant)和订阅 ID。

  2. 通过设置 managed_identity_client_idworkload_identity_tenant_id 使用托管标识(内部使用 DefaultAzureCredential 并传入这些参数)

  3. 回退到 DefaultAzureCredential。这包含尝试不同身份验证选项的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证…

默认连接 ID

所有与 Microsoft Azure Data Factory 相关的 hook 和 operator 默认使用 azure_data_factory_default

配置连接

客户端 ID

指定用于初始连接的 client_id。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential

密钥

指定用于初始连接的 secret。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential

租户 ID

指定用于初始连接的 Azure 租户 ID。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。使用 extra 参数 tenantId 传入租户 ID。

订阅 ID

指定用于初始连接的订阅 ID。所有身份验证机制都需要此项。使用 extra 参数 subscriptionId 传入 Azure 订阅 ID。

工厂名称(可选)

指定要与之交互的 Azure Data Factory。如果连接中未指定,则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数 factory_name 传入工厂名称。

资源组名称(可选)

指定所需 data factory 所在的 Azure 资源组名称。如果连接中未指定,则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数 resource_group_name 传入资源组名称。

托管标识客户端 ID(可选)

用户分配的托管标识的客户端 ID。如果与 workload_identity_tenant_id 一起提供,则会传递给 DefaultAzureCredential

工作负载标识租户 ID(可选)

应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与 managed_identity_client_id 一起提供,则会传递给 DefaultAzureCredential

在环境变量中指定连接时,应使用 URI 语法进行指定。

请注意,URI 的所有组成部分都应进行 URL 编码。

示例

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'

此条目有帮助吗?