airflow.providers.google.cloud.operators.dataform

DataformCreateCompilationResultOperator

在给定的项目和位置中创建一个新的 CompilationResult。

DataformGetCompilationResultOperator

获取单个 CompilationResult。

DataformCreateWorkflowInvocationOperator

在给定的 Repository 中创建一个新的 WorkflowInvocation。

DataformGetWorkflowInvocationOperator

获取单个 WorkflowInvocation。

DataformQueryWorkflowInvocationActionsOperator

在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

DataformCancelWorkflowInvocationOperator

请求取消正在运行的 WorkflowInvocation。

DataformCreateRepositoryOperator

创建仓库。

DataformDeleteRepositoryOperator

删除仓库。

DataformCreateWorkspaceOperator

创建工作区。

DataformDeleteWorkspaceOperator

删除工作区。

DataformWriteFileOperator

将新文件写入指定的工作区。

DataformMakeDirectoryOperator

在指定的工作区中创建新目录。

DataformRemoveFileOperator

在指定的工作区中移除文件。

DataformRemoveDirectoryOperator

在指定的工作区中移除目录。

DataformInstallNpmPackagesOperator

在提供的工作区中安装 NPM 依赖项。

模块内容

class airflow.providers.google.cloud.operators.dataform.DataformCreateCompilationResultOperator(project_id, region, repository_id, compilation_result, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的项目和位置中创建一个新的 CompilationResult。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • compilation_result (google.cloud.dataform_v1beta1.types.CompilationResult | dict) – 必需。要创建的编译结果。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
compilation_result[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetCompilationResultOperator(project_id, region, repository_id, compilation_result_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 CompilationResult。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • compilation_result_id (str) – Dataform 编译结果的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
compilation_result_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, wait_time=10, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的 Repository 中创建一个新的 WorkflowInvocation。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • workflow_invocation (google.cloud.dataform_v1beta1.types.WorkflowInvocation | dict) – 必需。要创建的工作流调用资源。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (int | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

  • asynchronous (bool) – 标志,指示从 Dataform API 返回 workflow_invocation_id。这对于提交长时间运行的工作流并使用 DataformWorkflowInvocationStateSensor 异步等待它们完成非常有用。

  • wait_time (int) – 两次检查之间的秒数。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workflow_invocation[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
asynchronous = False[source]
wait_time = 10[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 WorkflowInvocation。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workflow_invocation_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformQueryWorkflowInvocationActionsOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workflow_invocation_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCancelWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

请求取消正在运行的 WorkflowInvocation。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • workflow_invocation_id (str) – 工作流调用资源的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workflow_invocation_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateRepositoryOperator(project_id, region, repository_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建仓库。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域 ID。

  • repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteRepositoryOperator(project_id, region, repository_id, force=True, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除仓库。

参数:
  • project_id (str) – 必需的。存储库所在的 Google Cloud 项目 ID。

  • region (str) – 必需的。存储库所在的 Google Cloud 区域 ID。

  • repository_id (str) – 必需的。应删除的 Dataform 存储库 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]
repository_id[source]
project_id[source]
region[source]
force = True[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建工作区。

参数:
  • project_id (str) – 必填项。工作区应所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区应所在的 Google Cloud 区域的名称。

  • repository_id (str) – 必填项。工作区所属的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。将要创建的新工作区的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
workspace_id[source]
repository_id[source]
region[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除工作区。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。应被删除的 Dataform 工作区的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformWriteFileOperator(project_id, region, repository_id, workspace_id, filepath, contents, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将新文件写入指定的工作区。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。应创建文件的 Dataform 工作区的 ID。

  • filepath (str) – 必填项。相对于工作区根目录的文件路径,包括文件名。

  • contents (bytes) – 必填项。要写入的文件内容。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
filepath[source]
contents[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformMakeDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中创建新目录。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。应创建目录的 Dataform 工作区的 ID。

  • path – 必填项。目录的完整路径(包括目录名),相对于工作区根目录。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
directory_path[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveFileOperator(project_id, region, repository_id, workspace_id, filepath, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中移除文件。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。目录所在的 Dataform 工作区的 ID。

  • filepath (str) – 必填项。文件的完整路径(包括文件名),相对于工作区根目录。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
filepath[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中移除目录。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必填项。目录所在的 Dataform 工作区的 ID。

  • path – 必填项。目录的完整路径(包括目录名),相对于工作区根目录。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
directory_path[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

airflow.providers.google.cloud.operators.dataform.DataformInstallNpmPackagesOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在提供的工作区中安装 NPM 依赖项。

要求在工作区中创建“package.json”文件。

参数:
  • project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。

  • region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。

  • repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。

  • workspace_id (str) – 必需。Dataform工作区的ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些(如果有)错误应该重试。

  • timeout (float | None) – 此请求的超时时间。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号,或获取列表中最后一个帐号(将在请求中模拟)的 access_token 所需的帐号链表。如果设置为字符串,该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份,列表中第一个帐号将此角色授予发起帐号(模板化)。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]
project_id[source]
region[source]
repository_id[source]
workspace_id[source]
retry[source]
timeout = None[source]
metadata = ()[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文,请参阅 get_template_context。

此条目有帮助吗?