apache-airflow-providers-apache-beam
更新日志¶
6.0.4¶
杂项¶
remove superfluous else block (#49199)
6.0.3¶
Bug 修复¶
Fix beam pipeline options False value parsing (#47419)
杂项¶
Upgrade flit to 3.11.0 (#46938)
6.0.2¶
注意
此版本没有代码更改。发布此版本是由于之前版本存在打包问题而被撤下。
6.0.1¶
Bug 修复¶
Fix DataflowJobLink for Beam operators in deferrable mode (#45023)
杂项¶
Set minimum dependencies for apache-beam on Py 3.12+3.13 (#46321)Limit Apache Beam's numpy used (#46286)Refactor deferrable mode for BeamRunPythonPipelineOperator and BeamRunJavaPipelineOperator (#46678)
6.0.0¶
注意
此 Provider 版本仅适用于 Airflow 2.9+，具体说明请参见 Apache Airflow Provider 支持策略。
重大变更¶
警告
所有已弃用的类、参数和特性已从 Airbyte provider 包中移除。引入了以下重大变更：
从
trigger中移除了BeamPipelineTrigger类。请改用class:`airflow.providers.apache.beam.triggers.beam.BeamPythonPipelineTrigger类。
Removed deprecated code (#44700)
Bug 修复¶
Fix deferrable mode of BeamRunPythonPipelineOperator (#44386)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.9.0 (#44956)Update DAG example links in multiple providers documents (#44034)
5.9.1¶
杂项¶
Standard provider python operator (#42081)
5.9.0¶
特性¶
Add early job_id xcom_push for google provider Beam Pipeline operators (#42982)
5.8.1¶
Bug 修复¶
Bugfix/dataflow job location passing (#41887)
5.8.0¶
注意
此 Provider 版本仅适用于 Airflow 2.8+，具体说明请参见 Apache Airflow Provider 支持策略。
杂项¶
Bump minimum Airflow version in providers to Airflow 2.8.0 (#41396)
5.7.2¶
Bug 修复¶
Fix BeamRunJavaPipelineOperator fails without job_name set (#40645)
5.7.1¶
Bug 修复¶
Fix deferrable mode for BeamRunJavaPipelineOperator (#39371)
杂项¶
Faster 'airflow_version' imports (#39552)Simplify 'airflow_version' imports (#39497)
5.7.0¶
注意
此 Provider 版本仅适用于 Airflow 2.7+，具体说明请参见 Apache Airflow Provider 支持策略。
Bug 修复¶
Bugfix to correct GCSHook being called even when not required with BeamRunPythonPipelineOperator (#38716)
杂项¶
Bump minimum Airflow version in providers to Airflow 2.7.0 (#39240)
5.6.3¶
Bug 修复¶
fix: skip apache beam pipeline options if value is set to false (#38496)Fix side-effect of default options in Beam Operators (#37916)Avoid to use subprocess in asyncio loop (#38292)Avoid change attributes into the constructor in Apache Beam operators (#37934)
5.6.2¶
杂项¶
Add Python 3.12 exclusions in providers/pyproject.toml (#37404)
5.6.1¶
杂项¶
feat: Switch all class, functions, methods deprecations to decorators (#36876)
5.6.0¶
杂项¶
Get rid of pyarrow-hotfix for CVE-2023-47248 (#36697)
5.5.0¶
特性¶
Add ability to run streaming Job for BeamRunPythonPipelineOperator in non deferrable mode (#36108)Implement deferrable mode for BeamRunJavaPipelineOperator (#36122)
5.4.0¶
注意
此 Provider 版本仅适用于 Airflow 2.6+，具体说明请参见 Apache Airflow Provider 支持策略。
杂项¶
Bump minimum Airflow version in providers to Airflow 2.6.0 (#36017)
5.3.0¶
注意
此 Provider 版本仅适用于 Airflow 2.5+，具体说明请参见 Apache Airflow Provider 支持策略。
杂项¶
Bump min airflow version of providers (#34728)Use 'airflow.exceptions.AirflowException' in providers (#34511)
5.2.3¶
杂项¶
Replace sequence concatenation by unpacking in Airflow providers (#33933)Improve modules import in Airflow providers by some of them into a type-checking block (#33754)
5.2.2¶
Bug 修复¶
Fix wrong OR condition when evaluating beam version < 2.39.0 (#33308)
杂项¶
Refactor: Simplify code in Apache/Alibaba providers (#33227)
5.2.1¶
杂项¶
Allow downloading requirements file from GCS in 'BeamRunPythonPipelineOperator' (#31645)
5.2.0¶
特性¶
Add deferrable mode to 'BeamRunPythonPipelineOperator' (#31471)
5.1.1¶
注意
此版本放弃了对 Python 3.7 的支持
杂项¶
Add note about dropping Python 3.7 for providers (#32015)
5.1.0¶
注意
此 Provider 版本仅适用于 Airflow 2.4+，具体说明请参见 Apache Airflow Provider 支持策略。
杂项¶
Bump minimum Airflow version in providers (#30917)Update SDKs for google provider package (#30067)
5.0.0¶
重大变更¶
警告
在此版本的 provider 中，所有 Beam operator 中已弃用的 GCS 和 Dataflow hook 参数 delegate_to 已被移除。可以通过利用 impersonation_chain 参数来实现模拟。
remove delegate_to from GCP operators and hooks (#30748)
4.3.0¶
特性¶
Get rid of state in Apache Beam provider hook (#29503)
4.2.0¶
特性¶
Add support for running a Beam Go pipeline with an executable binary (#28764)
杂项¶
Deprecate 'delegate_to' param in GCP operators and update docs (#29088)
4.1.1¶
Bug 修复¶
Ensure Beam Go file downloaded from GCS still exists when referenced (#28664)
4.1.0¶
注意
此 Provider 版本仅适用于 Airflow 2.3+，具体说明请参见 Apache Airflow Provider 支持策略。
杂项¶
Move min airflow version to 2.3.0 for all providers (#27196)
特性¶
Add backward compatibility with old versions of Apache Beam (#27263)
4.0.0¶
重大变更¶
注意
此 Provider 版本仅适用于 Airflow 2.2+，具体说明请参见 Apache Airflow Provider 支持策略。
特性¶
Added missing project_id to the wait_for_job (#24020)Support impersonation service account parameter for Dataflow runner (#23961)
杂项¶
chore: Refactoring and Cleaning Apache Providers (#24219)
3.4.0¶
特性¶
Support serviceAccount attr for dataflow in the Apache beam
3.3.0¶
特性¶
Add recipe for BeamRunGoPipelineOperator (#22296)
Bug 修复¶
Fix mistakenly added install_requires for all providers (#22382)
3.2.1¶
杂项¶
Add Trove classifiers in PyPI (Framework :: Apache Airflow :: Provider)
3.2.0¶
特性¶
Add support for BeamGoPipelineOperator (#20386)
杂项¶
Support for Python 3.10
3.1.0¶
特性¶
Use google cloud credentials when executing beam command in subprocess (#18992)
3.0.1¶
杂项¶
Optimise connection importing for Airflow 2.2.0
3.0.0¶
重大变更¶
Auto-apply apply_default decorator (#15667)
警告
由于移除了 `apply_default` decorator，此版本的 provider 要求 Airflow 版本为 2.1.0+。如果您的 Airflow 版本低于 2.1.0，并且您想安装此版本的 provider，请先将 Airflow 升级到至少 2.1.0 版本。否则，您的 Airflow 包版本将自动升级，您将不得不手动运行 airflow upgrade db 来完成迁移。
2.0.0¶
重大变更¶
与 google provider 的集成¶
在 provider 的 2.0.0 版本中，我们改变了与 google provider 集成的方式。之前版本的这两个 provider 在使用 PIP > 20.2.4 安装时会发生冲突。PIP 20.2.4 及以下版本检测不到此冲突，但冲突确实存在，而且 Google BigQuery python 客户端的版本在两侧不匹配。因此，当同时安装 apache.beam 和 google provider 时，BigQuery operator 的某些功能可能无法正常工作。这是因为当使用 apache-beam[gcp] extra 时，apache-beam 客户端尚不支持新的 google python 客户端。apache-beam[gcp] extra 被 Dataflow operator 使用，虽然它们可能与更新版本的 Google BigQuery python 客户端一起工作，但不能保证。
此版本为 google provider 的 apache.beam extra 引入了额外的要求，同时为 apache.beam provider 的 google extra 引入了额外的要求。google 和 apache.beam provider 默认都不使用这些 extra，但您可以在安装 provider 时指定它们。这样做的后果是，Dataflow operator 的某些功能可能无法使用。
不幸的是，解决此问题的唯一 完整 方案是让 apache.beam 迁移到新的 (>=2.0.0) Google Python 客户端。
这是 google provider 的 extra
extras_require = (
{
# ...
"apache.beam": ["apache-airflow-providers-apache-beam", "apache-beam[gcp]"],
# ...
},
)
同样，这是 apache.beam provider 的 extra
extras_require = ({"google": ["apache-airflow-providers-google", "apache-beam[gcp]"]},)
您仍然可以在 PIP 版本 <= 20.2.4 下运行，回到之前的行为
pip install apache-airflow-providers-google[apache.beam]
或
pip install apache-airflow-providers-apache-beam[google]
但请注意，在这种情况下，BigQuery operator 的某些功能可能不可用。
1.0.1¶
Bug 修复¶
Improve Apache Beam operators - refactor operator - common Dataflow logic (#14094)Corrections in docs and tools after releasing provider RCs (#14082)Remove WARNINGs from BeamHook (#14554)
1.0.0¶
provider 的初始版本。