Microsoft Azure Data Factory¶

Microsoft Azure Data Factory 连接类型支持 Azure Data Factory 集成。

向 Azure Data Factory 进行身份验证¶

有三种方法可以使用 Airflow 连接到 Azure Data Factory。

使用令牌凭据，即向 Airflow 连接添加特定凭据（client_id、secret、tenant）和订阅 ID。
通过设置 managed_identity_client_id、workload_identity_tenant_id 使用托管标识（内部使用 DefaultAzureCredential 并传入这些参数）
回退到 DefaultAzureCredential。这包含尝试不同身份验证选项的机制：托管系统标识、环境变量、通过 Azure CLI 进行身份验证…

默认连接 ID¶

所有与 Microsoft Azure Data Factory 相关的 hook 和 operator 默认使用 azure_data_factory_default。

配置连接¶

客户端 ID: 指定用于初始连接的 client_id。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。
密钥: 指定用于初始连接的 secret。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。
租户 ID: 指定用于初始连接的 Azure 租户 ID。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。使用 extra 参数 tenantId 传入租户 ID。
订阅 ID: 指定用于初始连接的订阅 ID。所有身份验证机制都需要此项。使用 extra 参数 subscriptionId 传入 Azure 订阅 ID。
工厂名称（可选）: 指定要与之交互的 Azure Data Factory。如果连接中未指定，则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数 factory_name 传入工厂名称。
资源组名称（可选）: 指定所需 data factory 所在的 Azure 资源组名称。如果连接中未指定，则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数 resource_group_name 传入资源组名称。
托管标识客户端 ID（可选）: 用户分配的托管标识的客户端 ID。如果与 workload_identity_tenant_id 一起提供，则会传递给 DefaultAzureCredential。
工作负载标识租户 ID（可选）: 应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与 managed_identity_client_id 一起提供，则会传递给 DefaultAzureCredential。

在环境变量中指定连接时，应使用 URI 语法进行指定。

请注意，URI 的所有组成部分都应进行 URL 编码。

示例¶

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'

export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'