airflow.providers.google.cloud.operators.dataprep

此模块包含一个 Google Dataprep 操作符。

模块内容

类

DataprepGetJobsForJobGroupOperator

获取有关 Cloud Dataprep 作业中批处理作业的信息。

DataprepGetJobGroupOperator

获取指定的作业组。

DataprepRunJobGroupOperator

创建一个 jobGroup，它以经过身份验证的用户身份启动指定的作业。

DataprepCopyFlowOperator

创建所提供流 ID 的副本，以及所有包含的配方。

DataprepDeleteFlowOperator

删除具有提供的 ID 的流。

DataprepRunFlowOperator

运行具有提供的 ID 的流，它是提供的流 ID 的副本。
class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobsForJobGroupOperator(*, dataprep_conn_id='dataprep_default', job_group_id, **kwargs)[源代码]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取有关 Cloud Dataprep 作业中批处理作业的信息。

API 文档： https://clouddataprep.com/documentation/api#section/Overview。

另请参阅

有关如何使用此操作符的更多信息，请查看指南： 获取作业组的作业

：param job_group_id 将被请求的作业组的 ID

template_fields: collections.abc.Sequence[str] = ('job_group_id',)[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

class airflow.providers.google.cloud.operators.dataprep.DataprepGetJobGroupOperator(*, dataprep_conn_id='dataprep_default', project_id=PROVIDE_PROJECT_ID, job_group_id, embed, include_deleted, **kwargs)[源代码]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取指定的作业组。

作业组是从流中特定节点执行的作业。

API 文档： https://clouddataprep.com/documentation/api#section/Overview。

另请参阅

有关如何使用此操作符的更多信息，请查看指南： 获取作业组

参数

  • job_group_id (int | str) – 将被请求的作业组的 ID

  • embed (str) – 要作为响应的一部分拉入的对象的逗号分隔列表

  • include_deleted (bool) – 如果设置为“true”，将包括已删除的对象

template_fields: collections.abc.Sequence[str] = ('job_group_id', 'embed', 'project_id')[源代码]
execute(context)[源代码]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunJobGroupOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', body_request, **kwargs)[源代码]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建一个 jobGroup，它以经过身份验证的用户身份启动指定的作业。

这执行与单击应用程序中的“运行作业”按钮相同的操作。

要获取 recipe_id，请遵循 Dataprep API 文档： https://clouddataprep.com/documentation/api#operation/runJobGroup。

另请参阅

有关如何使用此操作符的更多信息，请查看指南： 运行作业组

参数

  • dataprep_conn_id (str) – Dataprep 连接 ID

  • body_request (dict) – 作为 body_request 传递给 GoogleDataprepHook 的 run_job_group，它是要运行的配方的标识符

template_fields: collections.abc.Sequence[str] = ('body_request',)[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

class airflow.providers.google.cloud.operators.dataprep.DataprepCopyFlowOperator(*, project_id=PROVIDE_PROJECT_ID, dataprep_conn_id='dataprep_default', flow_id, name='', description='', copy_datasources=False, **kwargs)[source]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建所提供流 ID 的副本，以及所有包含的配方。

参数

  • dataprep_conn_id (str) – Dataprep 连接 ID

  • flow_id (int | str) – 要复制的流程的 ID

  • name (str) – 流程副本的名称

  • description (str) – 流程副本的描述

  • copy_datasources (bool) – 布尔值，用于定义是否应该创建数据输入的副本。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'name', 'project_id', 'description')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

class airflow.providers.google.cloud.operators.dataprep.DataprepDeleteFlowOperator(*, dataprep_conn_id='dataprep_default', flow_id, **kwargs)[source]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除具有提供的 ID 的流。

参数

  • dataprep_conn_id (str) – Dataprep 连接 ID

  • flow_id (int | str) – 要复制的流程的 ID

template_fields: collections.abc.Sequence[str] = ('flow_id',)[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

class airflow.providers.google.cloud.operators.dataprep.DataprepRunFlowOperator(*, project_id=PROVIDE_PROJECT_ID, flow_id, body_request, dataprep_conn_id='dataprep_default', **kwargs)[source]

基类： airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

运行具有提供的 ID 的流，它是提供的流 ID 的副本。

参数

  • dataprep_conn_id (str) – Dataprep 连接 ID

  • flow_id (int | str) – 要复制的流程的 ID

  • body_request (dict) – 要发送的 POST 请求的主体。

template_fields: collections.abc.Sequence[str] = ('flow_id', 'project_id')[source]
execute(context)[source]

在创建操作符时派生。

上下文与渲染 jinja 模板时使用的字典相同。

请参阅 get_template_context 以获取更多上下文。

此条目是否有帮助？