tests.system.cncf.kubernetes.example_spark_kubernetes¶

这是一个使用 SparkKubernetesOperator 和 SparkKubernetesSensor 的示例 DAG。在此示例中，我们创建了两个按顺序执行的任务。第一个任务是在 Kubernetes 集群上提交 sparkApplication（示例使用 spark-pi 应用）。第二个任务是检查第一个任务提交的 sparkApplication 的最终状态。

Spark-on-k8s operator 需要已安装在 Kubernetes 上 https://github.com/GoogleCloudPlatform/spark-on-k8s-operator

属性¶

`ENV_ID`
`DAG_ID`
`pi_example_path`
`test_run`

模块内容¶

tests.system.cncf.kubernetes.example_spark_kubernetes.ENV_ID[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.DAG_ID = 'spark_pi'[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.pi_example_path[source]¶

tests.system.cncf.kubernetes.example_spark_kubernetes.test_run[source]¶

此条目有帮助吗？