airflow.providers.google.cloud.hooks.workflows

模块内容

类

WorkflowsHook

用于 Google GCP API 的 Hook。
class airflow.providers.google.cloud.hooks.workflows.WorkflowsHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类：airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google GCP API 的 Hook。

在 hook 中使用 project_id 的所有方法都必须使用关键字参数而不是位置参数调用。

get_workflows_client()[源代码]

返回 WorkflowsClient 对象。

get_executions_client()[源代码]

返回 ExecutionsClient 对象。

create_workflow(workflow, workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

创建一个新的工作流。

如果具有指定名称的工作流已存在于指定的项目和位置，则长时间运行的操作将返回 [ALREADY_EXISTS][google.rpc.Code.ALREADY_EXISTS] 错误。

参数

  • workflow (dict) – 必需。要创建的工作流。

  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

get_workflow(workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

获取单个工作流的详细信息。

参数

  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

update_workflow(workflow, update_mask=None, retry=DEFAULT, timeout=None, metadata=())[源代码]

更新现有工作流。

运行此方法对工作流的正在运行的执行没有影响。成功更新操作的结果可能会创建工作流的新版本。在这种情况下，新版本将用于新的工作流执行。

参数

  • workflow (dict | google.cloud.workflows_v1beta.Workflow) – 必需。要创建的工作流。

  • update_mask (google.protobuf.field_mask_pb2.FieldMask | None) – 要更新的字段列表。如果不存在，则将更新整个工作流。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

delete_workflow(workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

删除具有指定名称的工作流以及该工作流的所有正在运行的执行。

参数

  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

list_workflows(location, project_id=PROVIDE_PROJECT_ID, filter_=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[源代码]

列出给定项目和位置中的工作流；默认顺序未指定。

参数

  • filter – 用于限制结果为特定工作流的过滤器。

  • order_by (str | None) – 以逗号分隔的字段列表，用于指定结果的顺序。字段的默认排序顺序为升序。要指定字段的降序排序，请附加“desc”后缀。如果未指定，则结果将以未指定的顺序返回。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

create_execution(workflow_id, location, execution, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

使用给定工作流的最新修订版创建新的执行。

参数

  • execution (dict) – 必需。执行的输入参数，表示为字典。

  • workflow_id (str) – 必需。工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

get_execution(workflow_id, execution_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

返回给定 workflow_id 和 execution_id 的执行。

参数

  • workflow_id (str) – 必需。工作流的 ID。

  • execution_id (str) – 必需。执行的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

cancel_execution(workflow_id, execution_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

使用给定的 workflow_id 和 execution_id 取消执行。

参数

  • workflow_id (str) – 必需。工作流的 ID。

  • execution_id (str) – 必需。执行的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

list_executions(workflow_id, location, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[源代码]

返回属于给定名称的工作流的执行列表。

该方法返回所有工作流修订版本的执行。返回的执行按其开始时间排序（最新的在前）。

参数

  • workflow_id (str) – 必需。要创建的工作流的 ID。

  • project_id (str) – 必需。集群所属的 Google Cloud 项目的 ID。

  • location (str) – 必需。处理请求的 GCP 区域。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量（以秒为单位）。请注意，如果指定 retry，则超时适用于每次单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的其他元数据。

此条目是否有帮助？