apache-airflow-providers-microsoft-azure
更新日志¶
12.3.1¶
杂项¶
remove superfluous else block (#49199)
12.3.0¶
新特性¶
add message_id, reply_to, and message_headers to send message operator (#47522)
杂项¶
Add 'ti' to the RemoteLogIO read and upload methods (#48804)Rework remote task log handling for the structlog era. (#48491)Updated msgraph-core and kiota libraries (#48589)
12.2.2¶
杂项¶
Add lower-binding for microsoft azure/winrm providers (#47990)AIP-72: Handle Custom XCom Backend on Task SDK (#47339)Remove default_view property from DAG class and model (#47616)
12.2.1¶
错误修复¶
Remove extra string interpolation from fstrings (#47436)Fix support for old method signature of pagination_function in MSGraphAsyncOperator (#47101)
杂项¶
AIP-72: Moving BaseOperatorLink to task sdk (#47008)Render structured logs in the new UI rather than showing raw JSON (#46827)Upgrade flit to 3.11.0 (#46938)
12.2.0¶
注意
此版本没有代码更改。由于打包问题，之前的版本被撤回，因此发布此版本。
12.1.0¶
新特性¶
Added support for certificate authentication with MSGraphAsyncOperator (#45935)
错误修复¶
fix: 'KiotaRequestAdapterHook' make sure proxy config parameter is parsed correctly, even if it is a string or json (#46145)fix: retry of PowerBIDatasetRefreshOperator when dataset refresh wasn't directly available (#45513)fix: compat issue HTTPX proxy configuration in KiotaRequestAdapterHook and fixed retry in MSGraphSensor (#45746)fix: assignment of proxies parameter in KiotaRequestAdapterHook (#45741)fix: Updated instantiated of httpx AsyncClient as the proxies parameter is deprecated and mounts parameter should be used instead (#45464)fix: return type for azure hook 'run_query' (#45470)
杂项¶
Refactor result_processor and event_handler signatures in MSGraphAsyncOperator (#46637)AIP-72: Improving Operator Links Interface to Prevent User Code Execution in Webserver (#46613)AIP-83 amendment: Add logic for generating run_id when logical date is None. (#46616)Add dynamic task mapping into TaskSDK runtime (#46032)Move update subscription from 'AzureServiceBusTopicCreateOperator' to 'AdminClientHook' (#45367)Move create topic from 'AzureServiceBusTopicCreateOperator' to 'AdminClientHook' (#45297)Refactor Azure Service Bus: move create_subscription to hook (#45125)
12.0.0¶
注意
如Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.9+。
破坏性更改¶
警告
所有已弃用的类、参数和特性已从 microsoft azure provider 包中移除。引入了以下破坏性更改：
移除 azure 连接 extra 中已弃用的
extra__azure_data_explorer__foo。移除 azure 连接 extra 中已弃用的
extra__azure__tenantId。请改用tenantId。移除已弃用的
get_state_exitcode_details方法。请改用get_state。移除已弃用的
get_messages方法。请改用get_state。移除 azure 连接 extra 中已弃用的
extra__azure_data_factory__foo。在
AzureSynapsePipelineHook中使用 default_conn_name=azure_synapse_connection 已弃用。请改用default_conn_name=azure_synapse_default。移除已弃用的
get_hook方法以获取AzureDataExplorerHook实例。请改用hook属性。移除已弃用的
get_hook方法以获取AzureBatchHook实例。请改用hook属性。移除已弃用的
AzureKeyVaultBackend.get_conn_uri方法。请改用get_conn_value。移除已弃用的
WasbBlobAsyncSensor类。请改用带有deferrable=True的WasbBlobSensor。移除已弃用的 operator AzureBlobStorageToGCSOperator。请改用
airflow.providers.google.cloud.transfers.azure_blob_to_gcs.AzureBlobStorageToGCSOperator。
Remove Provider Deprecations in Microsoft-AZURE (#44763)
错误修复¶
fix callable values in path and query parameters of MSGraphAsyncOperator (#43799)PowerBIDatasetRefreshOperator should fail when refresh fails (#44696)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)Move triggers to standard provider (#43608)Remove XCom pickling (#43905)Update DAG example links in multiple providers documents (#44034)Update path of example dags in docs (#45069)Avoid 1.1.8 version of msgraph-core (#45044)refactor: Added MS Graph connection type (#45006)
11.1.0¶
新特性¶
Add copy_object functionality for wasbhook (#43037)
错误修复¶
Fix Power BI trigger fetch status (#43494)
杂项¶
Add min version to ipykernel,scrapbook, pywinrm (#43603)
11.0.0¶
破坏性更改¶
警告
我们将 Azure Service Bus 消息的消息回调更改为接受两个参数：消息和上下文，而不是只接受消息。这允许将消息信息推送到 XComs 中。要从仅接受消息的先前版本升级，请将您的回调更新为接受上下文作为第二个参数。
Add context to Azure Service Bus Message callback (#43370)
新特性¶
Feature: Added event_handler parameter in MSGraphAsyncOperator (#42539)
杂项¶
Add documentation for the PowerBIDatasetRefresh Operator. (#42754)Add upperbound to microsoft-kiota-abstractions (#43021)Restrict looker-sdk version 24.18.0 and microsoft-kiota-http 1.3.4 (#42954)
10.5.1¶
错误修复¶
(bugfix): Paginated results in MSGraphAsyncOperator (#42414)
杂项¶
Workaround pin azure kusto data (#42576)Removed conditional check for task context logging in airflow version 2.8.0 and above (#42764)
10.5.0¶
新特性¶
Allow custom api versions in MSGraphAsyncOperator (#41331)`` Add callback to process Azure Service Bus message contents (#41601)``
杂项¶
remove deprecated soft_fail from providers (#41710)Remove deprecated log handler argument filename_template (#41552)
10.4.0¶
注意
如Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.8+。
新特性¶
Microsoft Power BI operator to refresh the dataset (#40356)Export Azure Container Instance log messages to XCOM (#41142)
错误修复¶
Fix mypy checks for new azure libraries (#41386)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)
10.3.0¶
新特性¶
Added priority to Azure Container Instances (#40616)
杂项¶
Bump minimum version for azure containerinstance. (#40767)
10.2.0¶
新特性¶
Add S3ToAzureBlobStorageOperator (#40511)
10.1.2¶
错误修复¶
Switch AzureDataLakeStorageV2Hook to use DefaultAzureCredential for managed identity/workload auth (#38497)BUGFIX: Make sure XComs work correctly in MSGraphAsyncOperator with paged results and dynamic task mapping (#40301)
杂项¶
implement per-provider tests with lowest-direct dependency resolution (#39946)
10.1.1¶
杂项¶
Remove unused backward compatibility _read function in WasbTaskHandler (#39827)Update example AzureContainerInstancesOperator (#39466)
10.1.0¶
注意
如Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.7+。
新特性¶
add dns_config and diagnostics parameters to AzureContainerInstancesOperator (#39156)Add stacklevel into the 'AzureSynapsePipelineHook' deprecation warnings (#39192)Adding MSGraphOperator in Microsoft Azure provider (#38111)Make handling of connection by fs/adls.py closer to that of WasbHook and add unit tests. (#38747)Implement run-method on KiotaRequestAdapterHook and move logic away from triggerer to hook (#39237)Implemented MSGraphSensor as a deferrable sensor (#39304)
错误修复¶
Fix: Only quote the keys of the query_parameters in MSGraphOperator (#39207)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)Reapply templates for all providers (#39554)Faster 'airflow_version' imports (#39552)Simplify 'airflow_version' imports (#39497)
10.0.0¶
警告
我们将 azure-cosmos 的最低版本升级到 4.6.0，现在创建、获取或删除容器以及获取文档都需要提供 partition key。
破坏性更改¶
警告
azure_synapse_pipeline连接类型已更改为azure_synapse。使用
default_conn_name=azure_synapse_connection已弃用，并将在未来移除。AzureSynapsePipelineHook的新默认连接名称为：default_conn_name=azure_synapse_default。
Feature/refactor azure synapse pipeline class (#38723)
新特性¶
Add 'ADLSCreateObjectOperator' (#37821)
错误修复¶
fix(microsoft/azure): add return statement to yield within a while loop in triggers (#38393)fix cosmos hook static checks by making providing partition_key mandatory (#38199)
杂项¶
refactor: Refactored __new__ magic method of BaseOperatorMeta to avoid bad mixing classic and decorated operators (#37937)update to latest service bus (#38384)Limit azure-cosmos (#38175)
9.0.1¶
错误修复¶
fix: Pass proxies config when using ClientSecretCredential in AzureDataLakeStorageV2Hook (#37103)
9.0.0¶
破坏性更改¶
警告
在此提供者版本中，include 和 delimiter 参数已从 WasbPrefixSensorTrigger 中移除。现在需要通过 check_options 参数传递这些参数
Fix WasbPrefixSensor arg inconsistency between sync and async mode (#36806)add WasbPrefixSensorTrigger params breaking change to azure provider changelog (#36940)
错误修复¶
Fix failed tasks are not detected in 'AzureBatchHook' (#36785)Fix assignment of template field in '__init__' in 'container_instances.py' (#36529)
杂项¶
feat: Switch all class, functions, methods deprecations to decorators (#36876)
8.5.1¶
杂项¶
Remove unused '_parse_version' function (#36450)Clean WASB task handler code after bumping min Airflow version to 2.6.0 (#36421)
8.5.0¶
新特性¶
Allow storage options to be passed (#35820)
错误修复¶
azurefilesharehook fix with connection type azure (#36309)Follow BaseHook connection fields method signature in child classes (#36086)
杂项¶
Add code snippet formatting in docstrings via Ruff (#36262)
8.4.0¶
注意
如Apache Airflow 提供者支持策略中所述，此提供者版本仅适用于 Airflow 2.6+。
错误修复¶
Fix reraise outside of try block in 'AzureSynapsePipelineRunLink.get_fields_from_url' (#36009)Do not catch too broad exception in 'WasbHook.delete_container' (#36034)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)
8.3.0¶
新特性¶
Add Azure Synapse Pipeline connection-type in the UI (#35709)Add task context logging feature to allow forwarding messages to task logs (#32646)Add operator to invoke Azure-Synapse pipeline (#35091)Extend task context logging support for remote logging using WASB (Azure Blob Storage) (#32972)
杂项¶
检查 TaskContextLogger set_context 父级而非自身的属性 (#35780)移除 providers 中与 Airflow 2.3/2.4 的向后兼容性 (#35727)
8.2.0¶
新特性¶
向 AsyncDefaultAzureCredential 添加托管身份支持 (#35394)feat(provider/azure): 向 container_registry hook 添加托管身份支持 (#35320)feat(provider/azure): 向 wasb hook 添加托管身份支持 (#35326)feat(provider/azure): 向 asb hook 添加托管身份支持 (#35324)feat(provider/azure): 向 cosmos hook 添加托管身份支持 (#35323)feat(provider/azure): 向 container_volume hook 添加托管身份支持 (#35321)feat(provider/azure): 向 container_instance hook 添加托管身份支持 (#35319)feat(provider/azure): 向 adx hook 添加托管身份支持 (#35325)feat(provider/azure): 向 batch hook 添加托管身份支持 (#35327)feat(provider/azure): 向 data_factory hook 添加托管身份支持 (#35328)feat(provider/azure): 向 synapse hook 添加托管身份支持 (#35329)feat(provider/azure): 向 fileshare hook 添加托管身份支持 (#35330)
Bug 修复¶
修复 AzureContainerInstanceOperator 的 remove_on_error (#35212)fix(providers/microsoft): 为 get_async_default_azure_credential 设置 use_async=True (#35432)
杂项¶
移除 Azure provider 中空的 TYPE_CHECKING 块 (#35477)重构 azure 托管身份 (#35367)重用 Azure utils 方法中的 get_default_azure_credential 方法 (#35318)`` 使 AzureKeyVaultBackend 中的 DefaultAzureCredential 可配置 (#35052)``
使 AzureBaseHook 中的 DefaultAzureCredential 可配置 (#35051)
8.1.0¶
新特性¶
AIP-58: 添加 Airflow ObjectStore (AFS) (#34729)
8.0.0¶
注意
提供程序的此版本仅适用于 Airflow 2.5+，具体请参阅 Apache Airflow 提供程序支持策略。
重大变更¶
警告
在此版本的提供程序中，我们已从 AzureContainerInstancesOperator 和 AzureDataFactoryHook 方法中移除 network_profile 参数，并且 AzureDataFactoryRunPipelineOperator 参数 resource_group_name 和 factory_name 现在为必需参数，不再是 kwargs
resource_group_name 和 factory_name 现在是 AzureDataFactoryHook 方法 get_factory, update_factory, create_factory, delete_factory, get_linked_service, delete_linked_service, get_dataset, delete_dataset, get_dataflow, update_dataflow, create_dataflow, delete_dataflow, get_pipeline, delete_pipeline, run_pipeline, get_pipeline_run, get_trigger, get_pipeline_run_status, cancel_pipeline_run, create_trigger, delete_trigger, start_trigger, stop_trigger, get_adf_pipeline_run_status, cancel_pipeline_run 中的必需参数
AzureDataFactoryRunPipelineOperator 中的 resource_group_name 和 factory_name 现在为必需参数
移除
airflow.providers.microsoft.azure.hooks.data_factory中的PipelineRunInfo类从
AzureContainerInstancesOperator中移除network_profile参数从 azure_container_instance 连接 extras 中移除已弃用的
extra__azure__tenantId从 azure_container_instance 连接 extras 中移除已弃用的
extra__azure__subscriptionId提升 azure-mgmt-containerinstance 版本 (#34738)升级 microsift azure provider 中的 azure-mgmt-datafactory (#34040)
新特性¶
在 AzureContainerInstancesOperator 中添加 subnet_ids 参数 (#34850)允许在 AzureKeyVaultBackend 中通过关键字参数提供凭据 (#34706)
Bug 修复¶
在调用 ClientSecretCredential 时命名参数 (#34732)fix(providers/microsoft-azure): 抛出异常时遵守 soft_fail 参数 (#34494)处理无法正确读取 Azure 容器日志的错误情况。 (#34627)修复 Azure Blob Storage 远程日志记录选项中硬编码的容器名称 (#32779)
杂项¶
提升 providers 的最低 Airflow 版本 (#34728)整合 AzureBatchOperator 中的 hook 管理 (#34437)整合 AzureDataExplorerQueryOperator 中的 hook 管理 (#34436)
7.0.0¶
重大变更¶
警告
在此版本的提供程序中，我们将 AzureFileShareHook 更改为使用 azure-storage-file-share 库而非 azure-storage-file，此更改影响了现有 hook 方法，详情如下；同时移除了连接 extras 参数中已弃用的 extra__azure_fileshare__ 前缀，并移除了连接 extras 中的 protocol 参数
AzureFileShareHook 的 get_conn 方法返回 None 而非 FileService
从 Azure fileshare 连接 extras 中移除 protocol 参数
从 Azure fileshare 连接 extras 中的 extra__azure_fileshare__ 前缀以及 list_files 中移除已弃用的参数
从 AzureFileShareHook 方法 check_for_directory, list_directories_and_files, create_directory 中移除 share_name, directory_name 参数，转而使用 AzureFileShareHook 的 share_name 和 directory_path 参数
AzureFileShareHook 方法 create_share 和 delete_share 接受来自 ShareServiceClient.create_share 和 ShareServiceClient.delete_share 的 kwargs 参数
从 AzureFileShareHook 方法 get_file, get_file_to_stream 和 load_file 中移除 share_name, directory_name, file_name 参数，转而使用 AzureFileShareHook 的 share_name 和 file_path 参数
移除 AzureFileShareHook.check_for_file 方法
移除 AzureFileShareHook.load_string, AzureFileShareHook.load_stream，转而使用 AzureFileShareHook.load_data
注意
LocalToAzureDataLakeStorageOperator 类已移除，转而使用 LocalFilesystemToADLSOperator 类； AzureDataFactoryPipelineRunStatusAsyncSensor 类已移除，转而使用 AzureDataFactoryPipelineRunStatusSensor 类
更新 Azure fileshare hook 以使用 azure-storage-file-share 而非 azure-storage-file (#33904)移除 'AzureDataFactoryPipelineRunStatusAsyncSensor' 类 (#34036)移除 'LocalToAzureDataLakeStorageOperator' 类 (#34035)
新特性¶
feat(providers/microsoft): 将 AzureContainerInstancesOperator.volume 添加为模板字段 (#34070)向 AzureContainerRegistryHook 添加 DefaultAzureCredential 支持 (#33825)feat(providers/microsoft): 向 AzureContainerVolumeHook 添加 DefaultAzureCredential 支持 (#33822)
杂项¶
重构 providers 中的正则表达式 (#33898)改进关于 AzureBatchHook DefaultAzureCredential 支持的文档 (#34098)从 microsoft azure providers 中移除 azure-storage-common (#34038)移除 providers 中无用的字符串拼接 (#33968)重构 providers 中不必要的 跳转 (#33833)
6.3.0¶
新特性¶
添加 AzureBatchOperator 示例 (#33716)feat(providers/microsoft): 向 AzureContainerInstanceHook 添加 DefaultAzureCredential 支持 (#33467)为 ADX 服务添加 DefaultAzureCredential 认证 (#33627)feat(providers/microsoft): 向 data_lake 添加 DefaultAzureCredential (#33433)允许传递 fully_qualified_namespace 和 credential 来初始化 Azure Service Bus Client (#33493)向 cosmos 添加 DefaultAzureCredential 支持 (#33436)向 AzureBatchHook 添加 DefaultAzureCredential 支持 (#33469)
Bug 修复¶
修复 WasbHook 更新 account url 的问题 (#33457)修复 Azure Batch Hook 实例化的问题 (#33731)如果 Wasb 存储账户名称超过 24 个字符，则截断 (#33851)移除 Azure MessageHook 中重复的消息提交 (#33776)fix(providers/azure): 查询 AzureCosmosDBHook 时移除 json.dumps (#33653)
杂项¶
重构: 移除无用的 str() 调用 (#33629)提升 azure-kusto-data 版本至 >=4.1.0 (#33598)简化 providers/microsoft 中关于 len() 的条件 (#33566)将日志级别设置为 WARNING (#33314)在适用情况下将 'X for X in Y' 简化为 'Y' (#33453)提升 azure-mgmt-containerinstance 版本至 >=7.0.0,<9.0.0 (#33696)通过将部分模块导入移入类型检查块来改进 Airflow providers 中的模块导入 (#33754)在 providers 中使用单个包含多个上下文的语句而非嵌套语句 (#33768)移除 providers 中不必要的 and 并使用 list 重写 (#33763)优化 Azure Provider 中 Airflow DB backend 的使用 (#33750)
6.2.4¶
杂项¶
通过删除 conn extra 字段中的自定义前缀来清理 microsoft azure provider (#30558)
6.2.3¶
杂项¶
重构 WasbHook 中 account_url 的使用 (#32980)
6.2.2¶
杂项¶
添加 Redis 任务处理器 (#31855)将弃用信息添加到 providers 模块和类的 docstring (#32536)
6.2.1¶
注意
注意：此版本修复了 WasbHook 中的 get_blobs_list_async 方法，该方法之前返回 blob 名称列表，但（通过类型提示）声明它返回 BlobProperties 对象列表。这是实现中的一个 Bug，已在此版本中修复。但是，如果您依赖于之前的行为，可能需要从此方法返回的数组元素中检索 name 属性。
Bug 修复¶
修复在 WASB 中使用 Active Directory ID 作为主机时的重大更改 (#32560)修复 get_blobs_list_async 方法使其返回 BlobProperties (#32545)
杂项¶
将 'AzureBlobStorageToGCSOperator' 从 Azure provider 移至 Google provider (#32306)
6.2.0¶
新特性¶
添加 ADLS Gen2 的连接测试 (#32126)添加选项以将额外配置传递给 ClientSecretCredential (#31783)添加了 'AzureBlobStorageToS3Operator' 传输运算符 (#32270)
Bug 修复¶
捕获到意外异常时取消管道 (#32238)修复未提供 account url 时，使用 login (account name) 构建 url 的问题 (#32082)如果在 "AzureDataFactory" 中捕获到异常，则刷新连接 (#32323)
杂项¶
文档变更：在 Azure provider 文档中添加了 Transfers 部分 (#32241)在 Azure providers 文档中添加了 Sensor 部分 (#32299)添加 default_deferrable 配置 (#31712)
6.1.2¶
注意
此版本取消了对 Python 3.7 的支持
杂项¶
使用标准 csv 库替换 unicodecsv (#31693)移除 AzureBlobStorageToGCSOperator 中未使用的变量 (#31765)移除 Python 3.7 支持 (#30963)为 _read_remote_logs 添加 docstring 和签名 (#31623)
6.1.1¶
Bug 修复¶
修复 WasbPrefixSensor 中的 deferrable 模式执行 (#31411)
杂项¶
优化 wasb sensors 的 deferred 模式执行 (#31009)
6.1.0¶
注意
提供程序的此版本仅适用于 Airflow 2.4+，具体请参阅 Apache Airflow 提供程序支持策略。
新特性¶
向 'WasbPrefixSensor' 添加 deferrable 模式 (#30252)
杂项¶
提升 providers 中的最低 Airflow 版本 (#30917)优化 'AzureDataFactoryPipelineRunStatusSensor' 的 deferrable 执行模式 (#30983)优化 AzureDataFactoryRunPipelineOperator 的 deferred 执行 (#31214)
6.0.0¶
重大变更¶
警告
在此版本的提供程序中，已从 AzureBlobStorageToGCSOperator 中移除了已弃用的 GCS hook 参数 delegate_to。现在可以使用 impersonation_chain 参数来实现模拟。
从 GCP operators 和 hooks 中移除 delegate_to (#30748)
杂项¶
将 WasbBlobAsyncSensor 合并到 WasbBlobSensor (#30488)
5.3.1¶
Bug 修复¶
修复 AzureDataFactoryPipelineRunLink 的 get_link 方法 (#30514)从 extra__azure__subscriptionId 加载 subscription_id (#30556)
5.3.0¶
新特性¶
添加 deferrable 模式的 'AzureDataFactoryRunPipelineOperator' (#30147)添加 deferrable 模式的 'AzureDataFactoryPipelineRunStatusSensor' (#29801)使用远程日志记录时支持删除本地日志文件 (#29772)
Bug 修复¶
修复延迟期间 ADF 作业失败的问题 (#30248)修复使用 Active Directory 认证时 AzureDataLakeStorageV2Hook 的 'account_url' 问题 (#29980) (#29981)
杂项¶
将 AzureDataFactoryPipelineRunStatusAsyncSensor 合并到 AzureDataFactoryPipelineRunStatusSensor (#30250)在 AzureSynapseHook API 文档中公开缺失的参数 (#30099)
5.2.1¶
Bug 修复¶
使用 'WasbHook.delete_file()' 处理删除超过 256 个 blob 的情况 (#29565)
5.2.0¶
新特性¶
启用单个触发器日志记录 (#27758)
Bug 修复¶
修复 AzureSynapseHook Python API 文档中的参数渲染问题 (#29041)
杂项¶
弃用 GCP operators 中的 'delegate_to' 参数并更新文档 (#29088)
5.1.0¶
新特性¶
添加 Azure Data Lake Storage Gen2 的 hook (#28262)
Bug 修复¶
在 WASB 连接表单中隐藏 'extra' 字段 (#28914)
5.0.2¶
杂项¶
重新启用 ARM 上的 azure service bus，因为它现在可以干净地构建 (#28442)
5.0.1¶
Bug 修复¶
使参数 'offset' 和 'length' 不再是必需参数 (#28234)
5.0.0¶
注意
提供程序的此版本仅适用于 Airflow 2.3+，具体请参阅 Apache Airflow 提供程序支持策略。
重大变更¶
在 AzureFileShareHook 中，如果连接 extra 字典中同时存在
extra__azure_fileshare__foo和foo，之前会使用带前缀的版本；现在将优先使用不带前缀的版本。移除已弃用的类 (#27417)在 Azure Batch 中，
vm_size和vm_node_agent_sku_id参数现在是必需参数。
杂项¶
将所有 providers 的最低 Airflow 版本移至 2.3.0 (#27196)
新特性¶
为 azure, google, authentication library 的急切升级添加限制 (#27535)允许并优先使用剩余 azure provider 中不带前缀的 extra 字段 (#27220)允许并优先使用 AzureFileShareHook 中不带前缀的 extra 字段 (#27041)允许并优先使用 AzureDataExplorerHook 中不带前缀的 extra 字段 (#27219)允许并优先使用 AzureDataFactoryHook 中不带前缀的 extra 字段 (#27047)更新 WasbHook 以反映对不带前缀 extra 的偏好 (#27024)在 'get_field' 中查找 'extra__' 而非 'extra_' (#27489)
Bug 修复¶
修复为 azure batch lib 添加类型提示后发现的 Azure Batch 错误 (#27601)修复 variables_prefix 为空时添加分隔符的问题 (#26749)
4.3.0¶
新特性¶
向 Azure DataFactory hook 添加 DataFlow 操作 (#26345)在 AzureContainerInstancesOperator 中添加 network_profile 参数 (#26117)添加 Azure synapse operator (#26038)自动 tail 文件 日志 在 Web UI 中 (#26169)实现 Azure Service Bus Topic Create, Delete Operators (#25436)
错误修复¶
修复 AzureBatchOperator 假阴性 任务 状态 (#25844)
4.2.0¶
新功能¶
添加 'test_connection' 方法 到 AzureContainerInstanceHook (#25362)添加 test_connection 到 Azure Batch hook (#25235)Bump typing-extensions 和 mypy 为了 ParamSpec (#25088)实现 Azure Service Bus (Update 和 Receive) Subscription Operator (#25029)设置 默认 wasb Azure http 日志 级别 到 warning; 修复 #16224 (#18896)
4.1.0¶
新功能¶
添加 'test_connection' 方法 到 AzureCosmosDBHook (#25018)添加 test_connection 方法 到 AzureFileShareHook (#24843)添加 test_connection 方法 到 Azure WasbHook (#24771)实现 Azure service bus subscription Operators (#24625)实现 Azure Service Bus Queue Operators (#24038)
错误修复¶
更新 providers 以 使用 functools compat 为了 ''cached_property'' (#24582)
4.0.0¶
重大变更¶
注意
此 provider 版本仅适用于 Airflow 2.2+，正如 Apache Airflow provider 支持策略 中所述。
新功能¶
传递 连接 extra 参数 到 wasb BlobServiceClient (#24154)
杂项¶
应用 每运行 日志 模板 到 日志 handlers (#24153)迁移 Microsoft 示例 DAGs 到 新 设计 #22452 - azure (#24141)添加 typing 到 Azure Cosmos Client Hook (#23941)
3.9.0¶
新功能¶
wasb hook: 使用 user defaultAzureCredentials 代替 managedIdentity (#23394)
杂项¶
替换 使用 of 'DummyOperator' 为 'EmptyOperator' (#22974)
3.8.0¶
新功能¶
更新 secrets backends 以 使用 get_conn_value 代替 get_conn_uri (#22348)
杂项¶
Docs: 修复 示例 用法 for 'AzureCosmosDocumentSensor' (#22735)
3.7.2¶
错误修复¶
修复 错误添加的 install_requires for 所有 providers (#22382)
3.7.1¶
杂项¶
添加 Trove classifiers 在 PyPI (Framework :: Apache Airflow :: Provider)
3.7.0¶
新功能¶
添加 'test_connection' 方法 到 'AzureDataFactoryHook' (#21924)添加 pre-commit 检查 for docstring param 类型 (#21398)使 container 创建 可配置 当 上传 文件 通过 WasbHook (#20510)
杂项¶
支持 for Python 3.10(AzureCosmosDBHook) 更新 到 最新 Cosmos API (#21514)
3.6.0¶
新功能¶
添加 可选 功能 在 providers. (#21074)
杂项¶
重构 operator links 为 不 创建 ad hoc TaskInstances (#21285)
3.5.0¶
新功能¶
Azure: 新 sftp 到 wasb operator (#18877)移除 InputRequired 验证 与 azure extra (#20084)添加 operator link 到 监控 Azure Data Factory pipeline runs (#20207)
3.4.0¶
新功能¶
移除 不必要 connection form 定制 在 Azure (#19595)更新 Azure modules 以 符合 AIP-21 (#19431)移除 'host' 从 隐藏字段 在 'WasbHook' (#19475)使用 DefaultAzureCredential 如果 login 未提供 for Data Factory (#19079)
错误修复¶
修复 参数 错误 在 AzureContainerInstancesOperator (#19668)
3.3.0¶
新功能¶
更新 azure cosmos 到 最新版本 (#18695)添加了 sas_token var 到 BlobServiceClient 返回. 更新了 tests (#19234)添加 pre-commit hook for 常见拼写错误 检查 在 files (#18964)
错误修复¶
修复 changelog for Azure Provider (#18736)
其他¶
扩展 docs 关于 client auth for AzureKeyVaultBackend (#18659)静态 start_date 和 default arg 清理 for Microsoft providers 示例 DAGs (#19062)
3.2.0¶
新功能¶
重命名 AzureDataLakeStorage 到 ADLS (#18493)创建 ADF pipeline run operator, sensor + ADF 自定义 conn 字段 (#17885)重命名 LocalToAzureDataLakeStorageOperator 到 LocalFilesystemToADLSOperator (#18168)重命名 FileToWasbOperator 到 LocalFilesystemToWasbOperator (#18109)
错误修复¶
修复了 wasb hook 尝试 创建 container 当 获取 a blob client (#18287)移除 冗余 relabeling of password conn 字段 (#18386)正确处理 of Account URL 自定义 conn 字段 在 AzureBatchHook (#18456)正确处理 of 自定义 conn 字段 值 在 the AzureDataExplorerHook (#18203)
主要¶
操作符名称和导入路径的变更列在下表中。这是一个向后兼容的变更。已弃用的操作符将在下一个主要版本中移除。
已弃用的操作符名称 |
新的操作符名称 |
已弃用的路径 |
新的路径 |
AzureDataLakeStorageListOperator |
ADLSListOperator |
airflow.providers.microsoft.azure.operators.adls_list |
airflow.providers.microsoft.azure.operators.adls |
AzureDataLakeStorageDeleteOperator |
ADLSDeleteOperator |
airflow.providers.microsoft.azure.operators.adls_delete |
airflow.providers.microsoft.azure.operators.adls |
3.1.1¶
杂项¶
优化 connection 导入 for Airflow 2.2.0添加 secrets backend/logging/auth 信息 到 provider yaml (#17625)
3.1.0¶
新功能¶
添加 支持 for managed identity 在 WASB hook (#16628)减少 log 消息 for happy path (#16626)
错误修复¶
修复 多个 问题 在 Microsoft AzureContainerInstancesOperator (#15634)
3.0.0¶
重大变更¶
自动应用 apply_default decorator (#15667)
警告
由于移除了 apply_default decorator，此版本的 provider 需要 Airflow 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此 provider 版本，请先将 Airflow 升级到至少 2.1.0 版本。否则您的 Airflow package 版本将自动升级，您将不得不手动运行 airflow upgrade db 来完成迁移。
修复 AzureFileShare connection extras (#16388)
Azure Container Volume 和 Azure File Share 现在有专门的连接类型和可编辑的 UI 字段。您不应再为这些连接使用 Wasb 连接类型。这些 hooks/operators 的连接 ID 名称也已更改以反映这一点。
新功能¶
添加 oracle connection link (#15632)添加 delimiter argument 到 WasbHook delete_file 方法 (#15637)
错误修复¶
修复 colon spacing in ``AzureDataExplorerHookdocstring (#15841)``修复 wasb remote logging 当 blob 已存在时 (#16280)
2.0.0¶
重大变更¶
移除 不必要 AzureContainerInstance connection 类型 (#15514)
此变更移除了 azure_container_instance_default 连接类型，并将其替换为 azure_default。问题在于 AzureContainerInstance 连接类型是不必要的，因为它与普通的 “azure” 连接完全相同，但它的存在导致了 UI 连接编辑器中字段名称的重复并产生了不必要的警告。此版本对 Azure Container Instance 也使用普通的 Azure Hook 和连接。如果您已经在数据库中创建了 azure_container_instance_default 连接，它将继续工作，但当您第一次通过 UI 编辑它时，您需要将其类型更改为 azure_default。
新功能¶
添加 动态 connection 字段 到 Azure Connection (#15159)
错误修复¶
修复 'logging.exception' 冗余 (#14823)
1.3.0¶
新功能¶
大量 template_fields_renderers 添加 (#15130)
错误修复¶
修复 属性 for AzureDataFactory hook (#14704)
1.2.0¶
新功能¶
添加 Azure Data Factory hook (#11015)
错误修复¶
BugFix: 修复 remote log in azure storage blob 显示在 单行 (#14313)修复 AzureDataFactoryHook 实例化其连接失败 (#14565)
1.1.0¶
更新了文档和readme文件。
新功能¶
升级 azure blob 到 v12 (#12188)修复 Azure Data Explorer Operator (#13520)添加 AzureDatalakeStorageDeleteOperator (#13206)
1.0.0¶
provider 的初始版本。