airflow.providers.google.cloud.operators.datastore

此模块包含 Google Datastore 操作符。

模块内容

类

CloudDatastoreExportEntitiesOperator

将实体从 Google Cloud Datastore 导出到 Cloud Storage。

CloudDatastoreImportEntitiesOperator

将实体从 Cloud Storage 导入到 Google Cloud Datastore。

CloudDatastoreAllocateIdsOperator

为不完整的键分配 ID。返回键列表。

CloudDatastoreBeginTransactionOperator

开始新的事务。返回事务句柄。

CloudDatastoreCommitOperator

提交事务，可以选择创建、删除或修改某些实体。

CloudDatastoreRollbackOperator

回滚事务。

CloudDatastoreRunQueryOperator

运行实体查询。返回批量查询结果。

CloudDatastoreGetOperationOperator

获取长时间运行的操作的最新状态。

CloudDatastoreDeleteOperationOperator

删除长时间运行的操作。
class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Google Cloud Datastore 导出到 Cloud Storage。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：导出实体

另请参阅

https://cloud.google.com/datastore/docs/export-import-entities

参数

  • bucket (str) – 用于备份数据的云存储桶的名称

  • namespace (str | None) – 云存储桶中用于备份数据的可选命名空间路径。如果此命名空间在 GCS 中不存在，则将创建该命名空间。

  • datastore_conn_id (str) – 要使用的 Datastore 连接 ID 的名称

  • cloud_storage_conn_id (str) – 用于强制写入备份的云存储连接 ID 的名称

  • entity_filter (dict | None) – 关于项目中的哪些数据包含在导出中的描述，请参考 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 客户端分配的云存储标签

  • polling_interval_in_seconds (int) – 再次轮询执行状态之前等待的秒数

  • overwrite_existing (bool) – 如果存储桶 + 命名空间不为空，则会在导出之前清空它。这可以覆盖现有备份。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

将实体从 Cloud Storage 导入到 Google Cloud Datastore。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：导入实体

另请参阅

https://cloud.google.com/datastore/docs/export-import-entities

参数

  • bucket (str) – Cloud Storage 中用于存储数据的容器。

  • file (str) – 指定的 Cloud Storage bucket 中备份元数据文件的路径。它应该具有 .overall_export_metadata 扩展名。

  • namespace (str | None) – 指定的 Cloud Storage bucket 中备份元数据文件的可选命名空间。

  • entity_filter (dict | None) – 关于项目中的哪些数据包含在导出中的描述，请参考 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter

  • labels (dict | None) – 客户端分配的云存储标签

  • datastore_conn_id (str) – 要使用的连接 ID 的名称。

  • polling_interval_in_seconds (float) – 再次轮询执行状态之前等待的秒数。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

为不完整的键分配 ID。返回键列表。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：分配 ID

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/allocateIds

参数

  • partial_keys (list) – 部分键的列表。

  • project_id (str) – 要对其发出请求的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

开始新的事务。返回事务句柄。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：开始事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/beginTransaction

参数

  • transaction_options (dict[str, Any]) – 新事务的选项。

  • project_id (str) – 要对其发出请求的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交事务，可以选择创建、删除或修改某些实体。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：提交事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/commit

参数

  • body (dict[str, Any]) – 提交请求的主体。

  • project_id (str) – 要对其发出请求的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

回滚事务。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：回滚事务

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/rollback

参数

  • transaction (str) – 要回滚的事务。

  • project_id (str) – 要对其发出请求的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

运行实体查询。返回批量查询结果。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：运行查询

另请参阅

https://cloud.google.com/datastore/docs/reference/rest/v1/projects/runQuery

参数

  • body (dict[str, Any]) – 查询请求的主体。

  • project_id (str) – 要对其发出请求的 Google Cloud 项目 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取长时间运行的操作的最新状态。

另请参阅

有关如何使用此操作符的更多信息，请查看指南：获取操作状态

另请参阅

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/get

参数

  • name (str) – 操作资源的名称。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]
execute(context)[source]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[来源]

基类：airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除长时间运行的操作。

另请参阅

有关如何使用此操作符的更多信息，请查看以下指南：删除操作

另请参阅

https://cloud.google.com/datastore/docs/reference/data/rest/v1/projects.operations/delete

参数

  • name (str) – 操作资源的名称。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或获取列表中最后一个帐户的 access_token 所需的链式帐户列表，该帐户将在请求中被模拟。如果设置为字符串，则该帐户必须向原始帐户授予服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须向紧随其后的标识授予服务帐户令牌创建者 IAM 角色，列表中的第一个帐户向原始帐户授予此角色（已模板化）。

template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[来源]
execute(context)[来源]

在创建操作符时派生。

上下文与呈现 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

此条目是否有帮助？