airflow.providers.google.cloud.sensors.dataproc¶

此模块包含一个 Dataproc 作业 Sensor。

类¶

`DataprocJobSensor`	检查先前提交的 Dataproc 作业的状态。
`DataprocBatchSensor`	检查批处理的状态。

模块内容¶

类 airflow.providers.google.cloud.sensors.dataproc.DataprocJobSensor(*, dataproc_job_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[源代码]¶

基类: airflow.sensors.base.BaseSensorOperator

检查先前提交的 Dataproc 作业的状态。

参数::

dataproc_job_id (str) – 要轮询的 Dataproc 作业 ID。(templated)
region (str) – 必需。处理请求的 Cloud Dataproc 区域。(templated)
project_id (str) – 创建集群的 Google Cloud 项目 ID。(templated)
gcp_conn_id (str) – 连接 Google Cloud Platform 时使用的连接 ID。
wait_timeout (int | None) – 等待作业就绪的秒数。

template_fields: collections.abc.Sequence[str] = ('project_id', 'region', 'dataproc_job_id')[源代码]¶

ui_color = '#f0eee4'[源代码]¶

project_id = None[源代码]¶

gcp_conn_id = 'google_cloud_default'[源代码]¶

dataproc_job_id[源代码]¶

region[源代码]¶

wait_timeout = None[源代码]¶

start_sensor_time: float | None = None[源代码]¶

execute(context)[源代码]¶

创建 Operator 时派生此方法。

执行任务的主方法。Context 是渲染 Jinja 模板时使用的相同字典。

有关更多上下文信息，请参阅 get_template_context。

poke(context)[源代码]¶

派生此类时重写此方法。

类 airflow.providers.google.cloud.sensors.dataproc.DataprocBatchSensor(*, batch_id, region, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', wait_timeout=None, **kwargs)[源代码]¶