apache-airflow-providers-apache-beam
更新日志¶
6.0.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序的版本仅适用于 Airflow 2.9+。
重大更改¶
警告
所有已弃用的类、参数和功能都已从 Airbyte 提供程序包中删除。引入了以下重大更改
从
trigger中删除BeamPipelineTrigger类。请改用class:`airflow.providers.apache.beam.triggers.beam.BeamPythonPipelineTrigger类。
删除 已弃用 的代码 （#44700）
Bug 修复¶
修复 BeamRunPythonPipelineOperator 的可延期 模式 （#44386）
其他¶
将 提供程序 中的 最低 Airflow 版本 提升 至 Airflow 2.9.0 （#44956）更新 多个 提供程序 文档 中的 DAG 示例 链接 （#44034）
5.8.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序的版本仅适用于 Airflow 2.8+。
其他¶
将 提供程序 中的 最低 Airflow 版本 提升 至 Airflow 2.8.0 （#41396）
5.7.1¶
Bug 修复¶
修复 BeamRunJavaPipelineOperator 的可延期 模式 （#39371）
其他¶
更快 的 'airflow_version' 导入 （#39552）简化 'airflow_version' 导入 （#39497）
5.7.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序的版本仅适用于 Airflow 2.7+。
Bug 修复¶
Bugfix 以更正 即使 在使用 BeamRunPythonPipelineOperator 时不需要 也调用 GCSHook 的问题 （#38716）
其他¶
将 提供程序 中的 最低 Airflow 版本 提升 至 Airflow 2.7.0 （#39240）
5.6.3¶
Bug 修复¶
修复： 如果 apache beam 管道 选项 的值 设置为 false ，则跳过 （#38496）修复 Beam 操作符 中 默认 选项 的 副作用 （#37916）避免 在 asyncio 循环中 使用 子进程 （#38292）避免 在 Apache Beam 操作符 中 在构造函数中 更改 属性 （#37934）
5.5.0¶
功能¶
为 BeamRunPythonPipelineOperator 在非可延期 模式下 添加 运行 流式 作业 的能力 （#36108）为 BeamRunJavaPipelineOperator 实现 可延期 模式 （#36122）
5.4.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序的版本仅适用于 Airflow 2.6+。
其他¶
将 提供程序 中的 最低 Airflow 版本 提升 至 Airflow 2.6.0 （#36017）
5.3.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序的版本仅适用于 Airflow 2.5+。
其他¶
提升 提供程序的 最低 airflow 版本 （#34728）在 提供程序 中 使用 'airflow.exceptions.AirflowException' （#34511）
5.2.3¶
其他¶
在 Airflow 提供程序 中 用 解包 替换 序列 串联 （#33933）通过 将 其中一些 放入 类型检查块 来改进 Airflow 提供程序 中的 模块导入 （#33754）
5.2.2¶
Bug 修复¶
修复 在评估 beam 版本 < 2.39.0 时错误的 OR 条件 （#33308）
其他¶
重构： 简化 Apache/Alibaba 提供程序 中的 代码 （#33227）
5.1.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序版本仅适用于 Airflow 2.4+。
其他¶
提高 提供程序 中 的 最低 Airflow 版本 (#30917)更新 google 提供程序 包 的 SDK (#30067)
5.0.0¶
重大更改¶
警告
在此版本的提供程序中，已从所有 Beam 运算符中删除已弃用的 GCS 和 Dataflow 钩子的参数 delegate_to。 可以通过利用 impersonation_chain 参数来实现模拟。
从 GCP 运算符 和 钩子 中 删除 delegate_to (#30748)
4.2.0¶
功能¶
添加 对 使用 可执行 二进制文件 运行 Beam Go 管道 的支持 (#28764)
其他¶
弃用 GCP 运算符 中的 'delegate_to' 参数 并 更新 文档 (#29088)
4.1.0¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序版本仅适用于 Airflow 2.3+。
其他¶
将 所有 提供程序 的 最低 airflow 版本 移动到 2.3.0 (#27196)
功能¶
添加 与 旧版本 Apache Beam 的 向后兼容性 (#27263)
4.0.0¶
重大更改¶
注意
如 Apache Airflow 提供程序支持策略 中所述，此提供程序版本仅适用于 Airflow 2.2+。
功能¶
为 wait_for_job 添加 缺失的 project_id (#24020)支持 Dataflow 运行程序 的 模拟 服务 帐户 参数 (#23961)
其他¶
杂项： 重构和清理 Apache 提供程序 (#24219)
3.3.0¶
功能¶
为 BeamRunGoPipelineOperator 添加 配方 (#22296)
错误修复¶
修复 为 所有 提供程序 错误添加的 install_requires (#22382)
3.0.0¶
重大更改¶
自动应用 apply_default 装饰器 (#15667)
警告
由于删除了 apply_default 装饰器，此版本的提供程序需要 Airflow 2.1.0+。 如果您的 Airflow 版本低于 2.1.0，并且您想安装此提供程序版本，请先将 Airflow 升级到至少 2.1.0 版本。 否则，您的 Airflow 包版本将自动升级，您必须手动运行 airflow upgrade db 来完成迁移。
2.0.0¶
重大更改¶
与 google 提供程序集成¶
在提供程序的 2.0.0 版本中，我们更改了与 google 提供程序集成的方式。 当尝试使用 PIP > 20.2.4 一起安装这两个提供程序时，之前的两个提供程序版本会导致冲突。 PIP 20.2.4 及更低版本未检测到冲突，但它确实存在，并且 Google BigQuery python 客户端的版本在双方不匹配。 因此，当同时安装 apache.beam 和 google 提供程序时，BigQuery 运算符的某些功能可能无法正常工作。 这是由 apache-beam 客户端在使用 apache-beam[gcp] 额外功能时还不支持新的 google python 客户端造成的。 Dataflow 运算符使用 apache-beam[gcp] 额外功能，虽然它们可以使用较新版本的 Google BigQuery python 客户端，但不能保证。
此版本为 google 提供程序的 apache.beam 额外功能引入了额外的额外要求，并对称地为 apache.beam 提供程序的 google 额外功能引入了额外的额外要求。 默认情况下，google 和 apache.beam 提供程序都不使用这些额外功能，但是您可以在安装提供程序时指定它们。 其结果是，Dataflow 运算符的某些功能可能不可用。
不幸的是，解决此问题的唯一完整方案是让 apache.beam 迁移到新的（>=2.0.0）Google Python 客户端。
这是为 google 提供程序提供的额外内容
extras_require = (
{
# ...
"apache.beam": ["apache-airflow-providers-apache-beam", "apache-beam[gcp]"],
# ...
},
)
同样，这是为 apache.beam 提供程序提供的额外内容
extras_require = ({"google": ["apache-airflow-providers-google", "apache-beam[gcp]"]},)
您仍然可以使用 PIP 版本 <= 20.2.4 运行此程序，并返回到之前的行为
pip install apache-airflow-providers-google[apache.beam]
或者
pip install apache-airflow-providers-apache-beam[google]
但请注意，在这种情况下，某些 BigQuery 运算符的功能可能不可用。
1.0.1¶
Bug 修复¶
改进 Apache Beam 运算符 - 重构 运算符 - 通用 Dataflow 逻辑 （#14094）发布 提供程序 RC 后， 在 文档 和 工具 中 的 更正 （#14082）从 BeamHook 中 删除 警告 （#14554）
1.0.0¶
提供程序的初始版本。