`airflow.providers.cncf.kubernetes.sensors.spark_kubernetes`¶

模块内容¶

类¶

SparkKubernetesSensor

检查 Kubernetes 集群中的 sparkApplication 对象。

class airflow.providers.cncf.kubernetes.sensors.spark_kubernetes.SparkKubernetesSensor(*, application_name, attach_log=False, namespace=None, container_name='spark-kubernetes-driver', kubernetes_conn_id='kubernetes_default', api_group='sparkoperator.k8s.io', api_version='v1beta2', **kwargs)[来源]¶

基类： airflow.sensors.base.BaseSensorOperator

检查 Kubernetes 集群中的 sparkApplication 对象。

另请参阅

有关 Spark Application Object 的更多详细信息，请参阅参考资料： https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/v1beta2-1.1.0-2.4.5/docs/api-docs.md#sparkapplication

参数

application_name (str) – spark Application 资源名称
namespace (str | None) – sparkApplication 所在的 Kubernetes 命名空间
container_name (str) – sparkApplication 所在的 Kubernetes 容器名称
kubernetes_conn_id (str) – 到 Kubernetes 集群的 kubernetes 连接。
attach_log (bool) – 确定是否应将驱动程序 pod 的日志附加到传感器日志
api_group (str) – sparkApplication 的 Kubernetes API 组
api_version (str) – sparkApplication 的 Kubernetes API 版本

template_fields: collections.abc.Sequence[str] = ('application_name', 'namespace')[来源]¶

FAILURE_STATES = ('FAILED', 'UNKNOWN')[来源]¶

SUCCESS_STATES = ('COMPLETED',)[来源]¶

hook()[来源]¶

poke(context)[来源]¶

当派生此类时重写。

airflow.providers.cncf.kubernetes.sensors.spark_kubernetes¶

模块内容¶

类¶

`airflow.providers.cncf.kubernetes.sensors.spark_kubernetes`¶