Microsoft Azure 数据工厂¶
Microsoft Azure 数据工厂连接类型启用 Azure 数据工厂集成。
向 Azure 数据工厂进行身份验证¶
有三种方法可以使用 Airflow 连接到 Azure 数据工厂。
使用 令牌凭据，即在 Airflow 连接中添加特定的凭据（client_id、secret、tenant）和订阅 ID。
通过设置
managed_identity_client_id和workload_identity_tenant_id来使用托管身份（在底层，它使用带有这些参数的 DefaultAzureCredential）。回退到 DefaultAzureCredential。这包括尝试不同的身份验证选项的机制：托管系统身份、环境变量、通过 Azure CLI 进行身份验证等。
默认连接 ID¶
所有与 Microsoft Azure 数据工厂相关的钩子和操作符默认使用 azure_data_factory_default。
配置连接¶
- 客户端 ID
指定用于初始连接的
client_id。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。- 密钥
指定用于初始连接的
secret。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。- 租户 ID
指定用于初始连接的 Azure 租户 ID。这是 *令牌凭据* 身份验证机制所必需的。可以省略它以回退到 DefaultAzureCredential。使用额外的参数
tenantId来传递租户 ID。- 订阅 ID
指定用于初始连接的订阅 ID。这是所有身份验证机制所必需的。使用额外的参数
subscriptionId来传递 Azure 订阅 ID。- 工厂名称（可选）
指定要与之交互的 Azure 数据工厂。如果未在连接中指定，则需要直接传递给钩子、操作符和传感器。使用额外的参数
factory_name来传递工厂名称。- 资源组名称（可选）
指定所需数据工厂所在的 Azure 资源组名称。如果未在连接中指定，则需要直接传递给钩子、操作符和传感器。使用额外的参数
resource_group_name来传递资源组名称。- 托管身份客户端 ID（可选）
用户分配的托管身份的客户端 ID。如果与
workload_identity_tenant_id一起提供，它们将传递给 DefaultAzureCredential。- 工作负载身份租户 ID（可选）
应用程序的 Microsoft Entra 租户 ID。也称为其“目录” ID。如果与
managed_identity_client_id一起提供，它们将传递给 DefaultAzureCredential。
当在环境变量中指定连接时，应使用 URI 语法指定它。
请注意，URI 的所有组件都应进行 URL 编码。
示例¶
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id&resource_group_name=group+name&factory_name=factory+name'
export AIRFLOW_CONN_AZURE_DATA_FACTORY_DEFAULT='azure-data-factory://applicationid:serviceprincipalpassword@?tenantId=tenant+id&subscriptionId=subscription+id'