airflow.providers.google.cloud.operators.datastore¶
此模块包含 Google Datastore 操作符。
类¶
将实体从 Google Cloud Datastore 导出到 Cloud Storage。 |
|
将实体从 Cloud Storage 导入到 Google Cloud Datastore。 |
|
为不完整的键分配 ID。返回键列表。 |
|
开始新事务。返回事务句柄。 |
|
提交事务,可选地创建、删除或修改某些实体。 |
|
回滚事务。 |
|
运行实体查询。返回查询结果批次。 |
|
获取长时间运行的操作的最新状态。 |
|
删除长时间运行的操作。 |
模块内容¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreExportEntitiesOperator(*, bucket, namespace=None, datastore_conn_id='google_cloud_default', cloud_storage_conn_id='google_cloud_default', entity_filter=None, labels=None, polling_interval_in_seconds=10, overwrite_existing=False, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
将实体从 Google Cloud Datastore 导出到 Cloud Storage。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:导出实体
- 参数::
bucket (str) – 用于备份数据的 Cloud Storage 存储桶名称
namespace (str | None) – 指定 Cloud Storage 存储桶中用于备份数据的可选命名空间路径。如果此命名空间在 GCS 中不存在,将创建它。
datastore_conn_id (str) – 要使用的 Datastore 连接 ID 名称
cloud_storage_conn_id (str) – 用于强制写入备份的 Cloud Storage 连接 ID 名称
entity_filter (dict | None) – 项目中包含在导出中的数据描述,请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客户端为 Cloud Storage 分配的标签
polling_interval_in_seconds (int) – 再次轮询执行状态前等待的秒数
overwrite_existing (bool) – 如果存储桶 + 命名空间不为空,将在导出前清空它。这允许覆盖现有备份。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('bucket', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶
- operator_extra_links¶
- datastore_conn_id = 'google_cloud_default'¶
- cloud_storage_conn_id = 'google_cloud_default'¶
- bucket¶
- namespace = None¶
- entity_filter = None¶
- labels = None¶
- polling_interval_in_seconds = 10¶
- overwrite_existing = False¶
- project_id = None¶
- impersonation_chain = None¶
- execute(context)¶
创建操作符时派生。
上下文是与渲染 jinja 模板时使用的字典相同。
有关更多上下文,请参阅 get_template_context。
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreImportEntitiesOperator(*, bucket, file, namespace=None, entity_filter=None, labels=None, datastore_conn_id='google_cloud_default', polling_interval_in_seconds=10, project_id=PROVIDE_PROJECT_ID, impersonation_chain=None, **kwargs)¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
将实体从 Cloud Storage 导入到 Google Cloud Datastore。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:导入实体
- 参数::
bucket (str) – Cloud Storage 中用于存储数据的容器
file (str) – 指定 Cloud Storage 存储桶中备份元数据文件的路径。它应具有扩展名 .overall_export_metadata
namespace (str | None) – 指定 Cloud Storage 存储桶中备份元数据文件的可选命名空间。
entity_filter (dict | None) – 项目中包含在导出中的数据描述,请参阅 https://cloud.google.com/datastore/docs/reference/rest/Shared.Types/EntityFilter
labels (dict | None) – 客户端为 Cloud Storage 分配的标签
datastore_conn_id (str) – 要使用的连接 ID 名称
polling_interval_in_seconds (float) – 再次轮询执行状态前等待的秒数
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('bucket', 'file', 'namespace', 'entity_filter', 'labels', 'impersonation_chain')¶
- operator_extra_links¶
- datastore_conn_id = 'google_cloud_default'¶
- bucket¶
- file¶
- namespace = None¶
- entity_filter = None¶
- labels = None¶
- polling_interval_in_seconds = 10¶
- project_id = None¶
- impersonation_chain = None¶
- execute(context)¶
创建操作符时派生。
上下文是与渲染 jinja 模板时使用的字典相同。
有关更多上下文,请参阅 get_template_context。
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreAllocateIdsOperator(*, partial_keys, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
为不完整的键分配 ID。返回键列表。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:分配 ID
- 参数::
partial_keys (list) – 不完整键的列表。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('partial_keys', 'impersonation_chain')¶
- operator_extra_links¶
- partial_keys¶
- gcp_conn_id = 'google_cloud_default'¶
- project_id = None¶
- impersonation_chain = None¶
- execute(context)¶
创建操作符时派生。
上下文是与渲染 jinja 模板时使用的字典相同。
有关更多上下文,请参阅 get_template_context。
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreBeginTransactionOperator(*, transaction_options, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
开始新事务。返回事务句柄。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:开始事务
- 参数::
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('transaction_options', 'impersonation_chain')¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreCommitOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
提交事务,可选地创建、删除或修改某些实体。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:提交事务
- 参数::
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRollbackOperator(*, transaction, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
回滚事务。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:回滚事务
- 参数::
transaction (str) – 要回滚的事务。
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('transaction', 'impersonation_chain')[source]¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreRunQueryOperator(*, body, project_id=PROVIDE_PROJECT_ID, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
运行实体查询。返回查询结果批次。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:运行查询
- 参数::
project_id (str) – 发出请求时使用的 Google Cloud 项目 ID。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('body', 'impersonation_chain')[source]¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreGetOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
获取长时间运行的操作的最新状态。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:获取操作状态
- 参数::
name (str) – 操作资源的名称。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶
- class airflow.providers.google.cloud.operators.datastore.CloudDatastoreDeleteOperationOperator(*, name, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator
删除长时间运行的操作。
另请参阅
有关如何使用此操作符的更多信息,请参阅指南:删除操作
- 参数::
name (str) – 操作资源的名称。
gcp_conn_id (str) – 连接到 Google Cloud 时使用的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者获取列表中最后一个账号(将在请求中被模拟)的 access_token 所需的账号链列表。如果设置为字符串,该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号将此角色授予发起账号(模板化)。
- template_fields: collections.abc.Sequence[str] = ('name', 'impersonation_chain')[source]¶