airflow.providers.google.cloud.operators.datastore¶

此模块包含 Google Datastore 操作符。

类¶

`CloudDatastoreExportEntitiesOperator`	将实体从 Google Cloud Datastore 导出到 Cloud Storage。
`CloudDatastoreImportEntitiesOperator`	将实体从 Cloud Storage 导入到 Google Cloud Datastore。
`CloudDatastoreAllocateIdsOperator`	为不完整的键分配 ID。返回键列表。
`CloudDatastoreBeginTransactionOperator`	开始新事务。返回事务句柄。
`CloudDatastoreCommitOperator`	提交事务，可选地创建、删除或修改某些实体。
`CloudDatastoreRollbackOperator`	回滚事务。
`CloudDatastoreRunQueryOperator`	运行实体查询。返回查询结果批次。
`CloudDatastoreGetOperationOperator`	获取长时间运行的操作的最新状态。
`CloudDatastoreDeleteOperationOperator`	删除长时间运行的操作。

模块内容¶

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Google Cloud Datastore 导出到 Cloud Storage。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：导出实体

另请参阅

https://cloud.google.com/datastore/docs/export-import-entities

参数::

bucket (str) – 用于备份数据的 Cloud Storage 存储桶名称
namespace (str | None) – 指定 Cloud Storage 存储桶中用于备份数据的可选命名空间路径。如果此命名空间在 GCS 中不存在，将创建它。
datastore_conn_id (str) – 要使用的 Datastore 连接 ID 名称
cloud_storage_conn_id (str) – 用于强制写入备份的 Cloud Storage 连接 ID 名称
entity_filter (dict | None) – 项目中包含在导出中的数据描述，请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客户端为 Cloud Storage 分配的标签
polling_interval_in_seconds (int) – 再次轮询执行状态前等待的秒数
overwrite_existing (bool) – 如果存储桶 + 命名空间不为空，将在导出前清空它。这允许覆盖现有备份。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶

operator_extra_links¶

datastore_conn_id = 'google_cloud_default'¶

cloud_storage_conn_id = 'google_cloud_default'¶

bucket¶

namespace = None¶

entity_filter = None¶

labels = None¶

polling_interval_in_seconds = 10¶

overwrite_existing = False¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Cloud Storage 导入到 Google Cloud Datastore。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：导入实体

另请参阅

https://cloud.google.com/datastore/docs/export-import-entities

参数::

bucket (str) – Cloud Storage 中用于存储数据的容器
file (str) – 指定 Cloud Storage 存储桶中备份元数据文件的路径。它应具有扩展名 .overall_export_metadata
namespace (str | None) – 指定 Cloud Storage 存储桶中备份元数据文件的可选命名空间。
entity_filter (dict | None) – 项目中包含在导出中的数据描述，请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客户端为 Cloud Storage 分配的标签
datastore_conn_id (str) – 要使用的连接 ID 名称
polling_interval_in_seconds (float) – 再次轮询执行状态前等待的秒数
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶

operator_extra_links¶

datastore_conn_id = 'google_cloud_default'¶

bucket¶

file¶

namespace = None¶

entity_filter = None¶

labels = None¶

polling_interval_in_seconds = 10¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

为不完整的键分配 ID。返回键列表。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：分配 ID

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/allocateIds

参数::

partial_keys (list) – 不完整键的列表。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')¶

operator_extra_links¶

partial_keys¶

gcp_conn_id = 'google_cloud_default'¶

project_id = None¶

impersonation_chain = None¶

execute(context)¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

开始新事务。返回事务句柄。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：开始事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/beginTransaction

参数::

transaction_options (dict[str, Any]) – 新事务的选项。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')¶

transaction_options[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交事务，可选地创建、删除或修改某些实体。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：提交事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/commit

参数::

body (dict[str, Any]) – 提交请求的主体。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

body[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

回滚事务。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：回滚事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/rollback

参数::

transaction (str) – 要回滚的事务。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]¶

transaction[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

运行实体查询。返回查询结果批次。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：运行查询

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/runQuery

参数::

body (dict[str, Any]) – 查询请求的主体。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶

body[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

project_id = None[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取长时间运行的操作的最新状态。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：获取操作状态

另请参阅

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/get

参数::

name (str) – 操作资源的名称。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶

name[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除长时间运行的操作。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：删除操作

另请参阅

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/delete

参数::

name (str) – 操作资源的名称。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者获取列表中最后一个账号（将在请求中被模拟）的 access_token 所需的账号链列表。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶

name[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。