airflow.providers.google.cloud.operators.datastore

此模块包含 Google Datastore 操作符。

CloudDatastoreExportEntitiesOperator

将实体从 Google Cloud Datastore 导出到 Cloud Storage。

CloudDatastoreImportEntitiesOperator

将实体从 Cloud Storage 导入到 Google Cloud Datastore。

CloudDatastoreAllocateIdsOperator

为不完整的键分配 ID。返回键列表。

CloudDatastoreBeginTransactionOperator

开始新事务。返回事务句柄。

CloudDatastoreCommitOperator

提交事务,可选地创建、删除或修改某些实体。

CloudDatastoreRollbackOperator

回滚事务。

CloudDatastoreRunQueryOperator

运行实体查询。返回查询结果批次。

CloudDatastoreGetOperationOperator

获取长时间运行的操作的最新状态。

CloudDatastoreDeleteOperationOperator

删除长时间运行的操作。

模块内容

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Google Cloud Datastore 导出到 Cloud Storage。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:导出实体

参数::
  • bucket (str) – 用于备份数据的 Cloud Storage 存储桶名称

  • namespace (str | None) – 指定 Cloud Storage 存储桶中用于备份数据的可选命名空间路径。如果此命名空间在 GCS 中不存在,将创建它。

  • datastore_conn_id (str) – 要使用的 Datastore 连接 ID 名称

  • cloud_storage_conn_id (str) – 用于强制写入备份的 Cloud Storage 连接 ID 名称

  • entity_filter (dict | None) – 项目中包含在导出中的数据描述,请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 客户端为 Cloud Storage 分配的标签

  • polling_interval_in_seconds (int) – 再次轮询执行状态前等待的秒数

  • overwrite_existing (bool) – 如果存储桶 + 命名空间不为空,将在导出前清空它。这允许覆盖现有备份。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')
datastore_conn_id = 'google_cloud_default'
cloud_storage_conn_id = 'google_cloud_default'
bucket
namespace = None
entity_filter = None
labels = None
polling_interval_in_seconds = 10
overwrite_existing = False
project_id = None
impersonation_chain = None
execute(context)

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Cloud Storage 导入到 Google Cloud Datastore。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:导入实体

参数::
  • bucket (str) – Cloud Storage 中用于存储数据的容器

  • file (str) – 指定 Cloud Storage 存储桶中备份元数据文件的路径。它应具有扩展名 .overall_export_metadata

  • namespace (str | None) – 指定 Cloud Storage 存储桶中备份元数据文件的可选命名空间。

  • entity_filter (dict | None) – 项目中包含在导出中的数据描述,请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 客户端为 Cloud Storage 分配的标签

  • datastore_conn_id (str) – 要使用的连接 ID 名称

  • polling_interval_in_seconds (float) – 再次轮询执行状态前等待的秒数

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')
datastore_conn_id = 'google_cloud_default'
bucket
file
namespace = None
entity_filter = None
labels = None
polling_interval_in_seconds = 10
project_id = None
impersonation_chain = None
execute(context)

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

为不完整的键分配 ID。返回键列表。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:分配 ID

参数::
  • partial_keys (list) – 不完整键的列表。

  • project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')
partial_keys
gcp_conn_id = 'google_cloud_default'
project_id = None
impersonation_chain = None
execute(context)

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

开始新事务。返回事务句柄。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:开始事务

参数::
  • transaction_options (dict[str, Any]) – 新事务的选项。

  • project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')
transaction_options[source]
gcp_conn_id = 'google_cloud_default'[source]
project_id = None[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交事务,可选地创建、删除或修改某些实体。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:提交事务

参数::
  • body (dict[str, Any]) – 提交请求的主体。

  • project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
body[source]
gcp_conn_id = 'google_cloud_default'[source]
project_id = None[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

回滚事务。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:回滚事务

参数::
  • transaction (str) – 要回滚的事务。

  • project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]
transaction[source]
gcp_conn_id = 'google_cloud_default'[source]
project_id = None[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

运行实体查询。返回查询结果批次。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:运行查询

参数::
  • body (dict[str, Any]) – 查询请求的主体。

  • project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
body[source]
gcp_conn_id = 'google_cloud_default'[source]
project_id = None[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取长时间运行的操作的最新状态。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:获取操作状态

参数::
  • name (str) – 操作资源的名称。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]
name[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除长时间运行的操作。

另请参阅

有关如何使用此操作符的更多信息,请参阅指南:删除操作

参数::
  • name (str) – 操作资源的名称。

  • gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]
name[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建操作符时派生。

上下文是与渲染 jinja 模板时使用的字典相同。

有关更多上下文,请参阅 get_template_context。

此条目是否有用?