apache-airflow-providers-apache-spark

apache-airflow-providers-apache-spark 包

Apache Spark

发布版本: 5.2.1

Provider 包

此包适用于 apache.spark provider。此包中的所有类都包含在 airflow.providers.apache.spark Python 包中。

安装

您可以通过 pip install apache-airflow-providers-apache-spark 在现有 Airflow 2 安装之上安装此包。对于支持的最低 Airflow 版本,请参阅下面的 Requirements

要求

此 provider 分发包支持的最低 Apache Airflow 版本是 2.9.0

PIP 包

所需版本

apache-airflow

>=2.9.0

apache-airflow-providers-common-compat

>=1.5.0

pyspark

>=3.1.3

grpcio-status

>=1.59.0

跨 provider 包依赖项

这些是为了使用此包的所有功能可能需要的依赖项。您需要安装指定的 provider 分发包才能使用它们。

您可以从 PyPI 安装时安装此类跨 provider 依赖项。例如:

pip install apache-airflow-providers-apache-spark[cncf.kubernetes]

依赖包

Extra

apache-airflow-providers-cncf-kubernetes

cncf.kubernetes

apache-airflow-providers-common-compat

common.compat

下载官方包

您可以从 Official Apache Download site 下载官方发布的包并验证其校验和和签名。

此条目有用吗?