Microsoft Azure Data Factory¶
Microsoft Azure Data Factory 连接类型支持 Azure Data Factory 集成。
向 Azure Data Factory 进行身份验证¶
有三种方法可以使用 Airflow 连接到 Azure Data Factory。
使用令牌凭据,即向 Airflow 连接添加特定凭据(client_id、secret、tenant)和订阅 ID。
通过设置
managed_identity_client_id
、workload_identity_tenant_id
使用托管标识(内部使用 DefaultAzureCredential 并传入这些参数)回退到 DefaultAzureCredential。这包含尝试不同身份验证选项的机制:托管系统标识、环境变量、通过 Azure CLI 进行身份验证…
默认连接 ID¶
所有与 Microsoft Azure Data Factory 相关的 hook 和 operator 默认使用 azure_data_factory_default
。
配置连接¶
- 客户端 ID
指定用于初始连接的
client_id
。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。- 密钥
指定用于初始连接的
secret
。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。- 租户 ID
指定用于初始连接的 Azure 租户 ID。令牌凭据身份验证机制需要此项。可以省略以回退到 DefaultAzureCredential。使用 extra 参数
tenantId
传入租户 ID。- 订阅 ID
指定用于初始连接的订阅 ID。所有身份验证机制都需要此项。使用 extra 参数
subscriptionId
传入 Azure 订阅 ID。- 工厂名称(可选)
指定要与之交互的 Azure Data Factory。如果连接中未指定,则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数
factory_name
传入工厂名称。- 资源组名称(可选)
指定所需 data factory 所在的 Azure 资源组名称。如果连接中未指定,则需要将其直接传递给 hook、operator 和 sensor。使用 extra 参数
resource_group_name
传入资源组名称。- 托管标识客户端 ID(可选)
用户分配的托管标识的客户端 ID。如果与
workload_identity_tenant_id
一起提供,则会传递给 DefaultAzureCredential。- 工作负载标识租户 ID(可选)
应用程序的 Microsoft Entra 租户 ID。也称为其“目录”ID。如果与
managed_identity_client_id
一起提供,则会传递给 DefaultAzureCredential。
在环境变量中指定连接时,应使用 URI 语法进行指定。
请注意,URI 的所有组成部分都应进行 URL 编码。
示例¶
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'