airflow.providers.google.cloud.sensors.dataform

此模块包含一个 Google Cloud Dataform 传感器。

类

DataformWorkflowInvocationStateSensor

检查 Google Cloud Dataform 中 Workflow Invocation 的状态。

DataformWorkflowInvocationActionStateSensor

检查 Google Cloud Dataform 中 Workflow Invocation Action 的状态。

模块内容

class airflow.providers.google.cloud.sensors.dataform.DataformWorkflowInvocationStateSensor(*, project_id, region, repository_id, workflow_invocation_id, expected_statuses, failure_statuses=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.sensors.base.BaseSensorOperator

检查 Google Cloud Dataform 中 Workflow Invocation 的状态。

参数：

  • project_id (str) – 必需项，要启动作业的 Google Cloud 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • region (str) – 必需项，Dataform workflow invocation 的位置（例如 europe-west1）。

  • repository_id (str) – 必需项。任务所属的 Dataform 仓库 ID。

  • workflow_invocation_id (str) – 必需项，要检查的 workflow invocation ID。

  • expected_statuses (set[int] | int) – 操作的预期状态。请参阅：https://cloud.google.com/python/docs/reference/dataform/latest/google.cloud.dataform_v1beta1.types.WorkflowInvocation.State

  • failure_statuses (collections.abc.Iterable[int] | None) – 将因异常而终止传感器的状态

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭证进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链表，该账号将在请求中被模拟。如果设置为字符串，则该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，则列表中的身份必须授予 Service Account Token Creator IAM 角色给直接前一个身份，列表中第一个账号将此角色授予发起账号（templated）。

template_fields: collections.abc.Sequence[str] = ('workflow_invocation_id',)[source]
repository_id[source]
workflow_invocation_id[source]
expected_statuses[source]
failure_statuses = None[source]
project_id[source]
region[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
hook: airflow.providers.google.cloud.hooks.dataform.DataformHook | None = None[source]
poke(context)[source]

派生此类时覆盖。

class airflow.providers.google.cloud.sensors.dataform.DataformWorkflowInvocationActionStateSensor(*, project_id, region, repository_id, workflow_invocation_id, target_name, expected_statuses, failure_statuses, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

Bases: airflow.sensors.base.BaseSensorOperator

检查 Google Cloud Dataform 中 Workflow Invocation Action 的状态。

参数：

  • project_id (str) – 必需项，要启动作业的 Google Cloud 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。

  • region (str) – 必需项，Dataform workflow invocation 的位置（例如 europe-west1）。

  • repository_id (str) – 必需项。任务所属的 Dataform 仓库 ID。

  • workflow_invocation_id (str) – 必需项，要检查的 workflow invocation ID。

  • target_name (str) – 必需项。要在工作流中检查的目标名称。

  • expected_statuses (collections.abc.Iterable[int]) – 操作的预期状态。请参阅：https://cloud.google.com/python/docs/reference/dataform/latest/google.cloud.dataform_v1beta1.types.WorkflowInvocationAction.State

  • failure_statuses (collections.abc.Iterable[int]) – 将因异常而终止传感器的状态

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭证进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链表，该账号将在请求中被模拟。如果设置为字符串，则该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，则列表中的身份必须授予 Service Account Token Creator IAM 角色给直接前一个身份，列表中第一个账号将此角色授予发起账号（templated）。

template_fields: collections.abc.Sequence[str] = ('workflow_invocation_id',)[source]
repository_id[source]
workflow_invocation_id[source]
project_id[source]
region[source]
target_name[source]
expected_statuses[source]
failure_statuses[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
hook: airflow.providers.google.cloud.hooks.dataform.DataformHook | None = None[source]
poke(context)[source]

派生此类时覆盖。

此条目有帮助吗？