airflow.providers.google.cloud.operators.dataform¶

类¶

`DataformCreateCompilationResultOperator`	在给定的项目和位置中创建一个新的 CompilationResult。
`DataformGetCompilationResultOperator`	获取单个 CompilationResult。
`DataformCreateWorkflowInvocationOperator`	在给定的 Repository 中创建一个新的 WorkflowInvocation。
`DataformGetWorkflowInvocationOperator`	获取单个 WorkflowInvocation。
`DataformQueryWorkflowInvocationActionsOperator`	在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。
`DataformCancelWorkflowInvocationOperator`	请求取消正在运行的 WorkflowInvocation。
`DataformCreateRepositoryOperator`	创建仓库。
`DataformDeleteRepositoryOperator`	删除仓库。
`DataformCreateWorkspaceOperator`	创建工作区。
`DataformDeleteWorkspaceOperator`	删除工作区。
`DataformWriteFileOperator`	将新文件写入指定的工作区。
`DataformMakeDirectoryOperator`	在指定的工作区中创建新目录。
`DataformRemoveFileOperator`	在指定的工作区中移除文件。
`DataformRemoveDirectoryOperator`	在指定的工作区中移除目录。
`DataformInstallNpmPackagesOperator`	在提供的工作区中安装 NPM 依赖项。

模块内容¶

class airflow.providers.google.cloud.operators.dataform.DataformCreateCompilationResultOperator(project_id, region, repository_id, compilation_result, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的项目和位置中创建一个新的 CompilationResult。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
compilation_result (google.cloud.dataform_v1beta1.types.CompilationResult | dict) – 必需。要创建的编译结果。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

compilation_result[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetCompilationResultOperator(project_id, region, repository_id, compilation_result_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 CompilationResult。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
compilation_result_id (str) – Dataform 编译结果的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'compilation_result_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

compilation_result_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, asynchronous=False, wait_time=10, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的 Repository 中创建一个新的 WorkflowInvocation。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
workflow_invocation (google.cloud.dataform_v1beta1.types.WorkflowInvocation | dict) – 必需。要创建的工作流调用资源。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (int | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。
asynchronous (bool) – 标志，指示从 Dataform API 返回 workflow_invocation_id。这对于提交长时间运行的工作流并使用 DataformWorkflowInvocationStateSensor 异步等待它们完成非常有用。
wait_time (int) – 两次检查之间的秒数。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

asynchronous = False[source]¶

wait_time = 10[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformGetWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取单个 WorkflowInvocation。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
workflow_invocation_id (str) – 工作流调用资源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformQueryWorkflowInvocationActionsOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在给定的 WorkflowInvocation 中返回 WorkflowInvocationActions。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
workflow_invocation_id (str) – 工作流调用资源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCancelWorkflowInvocationOperator(project_id, region, repository_id, workflow_invocation_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

请求取消正在运行的 WorkflowInvocation。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
workflow_invocation_id (str) – 工作流调用资源的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workflow_invocation_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workflow_invocation_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateRepositoryOperator(project_id, region, repository_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建仓库。

参数:

project_id (str) – 必需。任务所属的 Google Cloud 项目 ID。
region (str) – 必需。任务所属的 Google Cloud 区域 ID。
repository_id (str) – 必需。任务所属的 Dataform 仓库 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

operator_extra_links[source]¶

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteRepositoryOperator(project_id, region, repository_id, force=True, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除仓库。

参数:

project_id (str) – 必需的。存储库所在的 Google Cloud 项目 ID。
region (str) – 必需的。存储库所在的 Google Cloud 区域 ID。
repository_id (str) – 必需的。应删除的 Dataform 存储库 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'impersonation_chain')[source]¶

repository_id[source]¶

project_id[source]¶

region[source]¶

force = True[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformCreateWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建工作区。

参数:

project_id (str) – 必填项。工作区应所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区应所在的 Google Cloud 区域的名称。
repository_id (str) – 必填项。工作区所属的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。将要创建的新工作区的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

operator_extra_links[source]¶

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

workspace_id[source]¶

repository_id[source]¶

region[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformDeleteWorkspaceOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除工作区。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。应被删除的 Dataform 工作区的 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformWriteFileOperator(project_id, region, repository_id, workspace_id, filepath, contents, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将新文件写入指定的工作区。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。应创建文件的 Dataform 工作区的 ID。
filepath (str) – 必填项。相对于工作区根目录的文件路径，包括文件名。
contents (bytes) – 必填项。要写入的文件内容。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

filepath[source]¶

contents[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformMakeDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中创建新目录。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。应创建目录的 Dataform 工作区的 ID。
path – 必填项。目录的完整路径（包括目录名），相对于工作区根目录。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

directory_path[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveFileOperator(project_id, region, repository_id, workspace_id, filepath, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中移除文件。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。目录所在的 Dataform 工作区的 ID。
filepath (str) – 必填项。文件的完整路径（包括文件名），相对于工作区根目录。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

filepath[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.dataform.DataformRemoveDirectoryOperator(project_id, region, repository_id, workspace_id, directory_path, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在指定的工作区中移除目录。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必填项。目录所在的 Dataform 工作区的 ID。
path – 必填项。目录的完整路径（包括目录名），相对于工作区根目录。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。

template_fields = ('project_id', 'region', 'repository_id', 'workspace_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

repository_id[source]¶

workspace_id[source]¶

directory_path[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建 operator 时派生。

上下文是与渲染 jinja 模板时使用的相同的字典。

有关更多上下文，请参阅 get_template_context。

类 airflow.providers.google.cloud.operators.dataform.DataformInstallNpmPackagesOperator(project_id, region, repository_id, workspace_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, *args, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

在提供的工作区中安装 NPM 依赖项。

要求在工作区中创建“package.json”文件。

参数:

project_id (str) – 必填项。工作区所在的 Google Cloud 项目的 ID。
region (str) – 必填项。工作区所在的 Google Cloud 区域的 ID。
repository_id (str) – 必填项。工作区所在的 Dataform 代码库的 ID。
workspace_id (str) – 必需。Dataform工作区的ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些（如果有）错误应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求作为元数据发送的字符串。
gcp_conn_id (str) – 获取连接信息时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选。要使用短期凭据模拟的服务帐号，或获取列表中最后一个帐号（将在请求中模拟）的 access_token 所需的帐号链表。如果设置为字符串，该帐号必须授予发起帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须将其 Service Account Token Creator IAM 角色授予紧邻的前一个身份，列表中第一个帐号将此角色授予发起帐号（模板化）。