airflow.providers.cncf.kubernetes.sensors.spark_kubernetes¶

类¶

SparkKubernetesSensor

检查 Kubernetes 集群中的 sparkApplication 对象。

模块内容¶

class airflow.providers.cncf.kubernetes.sensors.spark_kubernetes.SparkKubernetesSensor(*, application_name, attach_log=False, namespace=None, container_name='spark-kubernetes-driver', kubernetes_conn_id='kubernetes_default', api_group='sparkoperator.k8s.io', api_version='v1beta2', **kwargs)[source]¶

基类: airflow.sensors.base.BaseSensorOperator

检查 Kubernetes 集群中的 sparkApplication 对象。

另请参阅

有关 Spark Application 对象的更多详情，请参阅以下参考资料: https://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/v1beta2-1.1.0-2.4.5/docs/api-docs.md#sparkapplication

参数:

application_name (str) – Spark Application 资源名称
namespace (str | None) – sparkApplication 所在的 Kubernetes namespace
container_name (str) – sparkApplication 所在的 Kubernetes 容器名称
kubernetes_conn_id (str) – 连接到 Kubernetes 集群的 kubernetes 连接。
attach_log (bool) – 确定驱动程序 Pod 的日志是否应附加到传感器日志中
api_group (str) – sparkApplication 的 Kubernetes API 组
api_version (str) – sparkApplication 的 Kubernetes API 版本

template_fields: collections.abc.Sequence[str] = ('application_name', 'namespace')[source]¶

FAILURE_STATES = ('FAILED', 'UNKNOWN')[source]¶

SUCCESS_STATES = ('COMPLETED',)[source]¶

application_name[source]¶

attach_log = False[source]¶

namespace = None[source]¶

container_name = 'spark-kubernetes-driver'[source]¶

kubernetes_conn_id = 'kubernetes_default'[source]¶

api_group = 'sparkoperator.k8s.io'[source]¶

api_version = 'v1beta2'[source]¶

property hook: airflow.providers.cncf.kubernetes.hooks.kubernetes.KubernetesHook[source]¶

poke(context)[source]¶

派生此类时覆盖此方法。