airflow.providers.google.cloud.hooks.vertex_ai.dataset¶

此模块包含一个 Google Cloud Vertex AI Hook。

类¶

DatasetHook

用于 Google Cloud Vertex AI Dataset API 的 Hook。

模块内容¶

class airflow.providers.google.cloud.hooks.vertex_ai.dataset.DatasetHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]¶

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseHook, airflow.providers.google.common.hooks.operation_helpers.OperationHelper

用于 Google Cloud Vertex AI Dataset API 的 Hook。

get_dataset_service_client(region=None)[源代码]¶

返回 DatasetServiceClient。

static extract_dataset_id(obj)[源代码]¶

返回数据集的唯一 ID。

create_dataset(project_id, region, dataset, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

创建数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (google.cloud.aiplatform_v1.types.Dataset | dict) – 必需。要创建的数据集。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

delete_dataset(project_id, region, dataset, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

删除数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。要删除的数据集 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

export_data(project_id, region, dataset, export_config, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

从数据集中导出数据。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。要导出的数据集 ID。
export_config (google.cloud.aiplatform_v1.types.ExportDataConfig | dict) – 必需。期望的输出位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

get_annotation_spec(project_id, region, dataset, annotation_spec, read_mask=None, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

获取 AnnotationSpec。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。数据集 ID。
annotation_spec (str) – AnnotationSpec 资源的 ID。
read_mask (str | None) – 可选。指定要读取哪些字段的掩码。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

get_dataset(project_id, region, dataset, read_mask=None, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

获取数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。要导出的数据集 ID。
read_mask (str | None) – 可选。指定要读取哪些字段的掩码。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

import_data(project_id, region, dataset, import_configs, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

将数据导入数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。要导入数据的 Dataset ID。
import_configs (collections.abc.Sequence[google.cloud.aiplatform_v1.types.ImportDataConfig]) – 必需。期望的输入位置。所有输入位置的内容将分批导入。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

list_annotations(project_id, region, dataset, data_item, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

列出属于数据项的 Annotation。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。数据集 ID。
data_item (str) – 必需。要从中列出 Annotation 的 DataItem ID。
filter (str | None) – 标准列表过滤器。
page_size (int | None) – 标准列表页面大小。
page_token (str | None) – 标准列表页面令牌。
read_mask (str | None) – 指定要读取哪些字段的掩码。
order_by (str | None) – 一个逗号分隔的字段列表，用于排序，按升序排列。在字段名后使用“desc”表示降序。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

list_data_items(project_id, region, dataset, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

列出数据集中的 DataItem。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset (str) – 必需。数据集 ID。
filter (str | None) – 标准列表过滤器。
page_size (int | None) – 标准列表页面大小。
page_token (str | None) – 标准列表页面令牌。
read_mask (str | None) – 指定要读取哪些字段的掩码。
order_by (str | None) – 一个逗号分隔的字段列表，用于排序，按升序排列。在字段名后使用“desc”表示降序。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

list_datasets(project_id, region, filter=None, page_size=None, page_token=None, read_mask=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

列出位置中的数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
filter (str | None) – 标准列表过滤器。
page_size (int | None) – 标准列表页面大小。
page_token (str | None) – 标准列表页面令牌。
read_mask (str | None) – 指定要读取哪些字段的掩码。
order_by (str | None) – 一个逗号分隔的字段列表，用于排序，按升序排列。在字段名后使用“desc”表示降序。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。

update_dataset(project_id, region, dataset_id, dataset, update_mask, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

更新数据集。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
dataset_id (str) – 必需。数据集 ID。
dataset (google.cloud.aiplatform_v1.types.Dataset | dict) – 必需。用于替换服务器上资源的 Dataset。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。更新掩码应用于资源。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求发送的元数据字符串。