airflow.providers.google.cloud.hooks.dataplex

这个模块包含 Google Dataplex hook。

属性

PATH_DATA_SCAN

异常

AirflowDataQualityScanException

当数据质量扫描规则失败时抛出。

AirflowDataQualityScanResultTimeoutException

在指定秒数后未找到结果时抛出。

DataplexHook

Google Dataplex 的 Hook。

DataplexAsyncHook

用于 Google Cloud Dataplex API 的异步 Hook。

模块内容

airflow.providers.google.cloud.hooks.dataplex.PATH_DATA_SCAN = 'projects/{project_id}/locations/{region}/dataScans/{data_scan_id}'[source]
exception airflow.providers.google.cloud.hooks.dataplex.AirflowDataQualityScanException[source]

继承自: airflow.exceptions.AirflowException

当数据质量扫描规则失败时抛出。

exception airflow.providers.google.cloud.hooks.dataplex.AirflowDataQualityScanResultTimeoutException[source]

继承自: airflow.exceptions.AirflowException

在指定秒数后未找到结果时抛出。

class airflow.providers.google.cloud.hooks.dataplex.DataplexHook(api_version='v1', gcp_conn_id='google_cloud_default', impersonation_chain=None, location=None, **kwargs)[source]

继承自: airflow.providers.google.common.hooks.base_google.GoogleBaseHook, airflow.providers.google.common.hooks.operation_helpers.OperationHelper

Google Dataplex 的 Hook。

参数:
  • api_version (str) – 要请求的 API 版本,例如 'v3'。

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或所需账号的链式列表,以获取列表中最后一个账号的 access_token,该 access_token 将在请求中进行模拟。如果设置为字符串,则该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列,则列表中的身份必须将其 Service Account Token Creator IAM 角色授予直接前一个身份,列表中第一个账号将此角色授予原始账号(模板化)。

api_version = 'v1'[source]
location = None[source]
get_dataplex_client()[source]

返回 DataplexServiceClient。

get_dataplex_data_scan_client()[source]

返回 DataScanServiceClient。

get_dataplex_catalog_client()[source]

返回 CatalogServiceClient。

wait_for_operation(operation, timeout=None)[source]

等待长时间运行的操作完成。

create_entry(location, entry_id, entry_group_id, entry_configuration, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

创建一个 EntryType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_id (str) –

    必需。Entry 标识符。它在 Entry Group 中必须是唯一的。对应于 Google Cloud 资源的 Entry 使用基于完整资源名称的 Entry ID 格式。该格式是资源的完整资源名称,但去除了完整资源名称中 API 服务名部分的双斜杠前缀。这允许使用关联的资源名称检索 Entry。

    例如,如果资源的完整资源名称是//library.googleapis.com/shelves/shelf1/books/book2,则建议的 entry_id 是library.googleapis.com/shelves/shelf1/books/book2

    对于对应于 Google Cloud 以外提供者或系统的资源的 Entry,也建议遵循相同的约定。该字段的最大长度为 4000 个字符。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • entry_configuration (google.cloud.dataplex_v1.types.Entry | dict) – 必需。Entry 配置主体。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

get_entry(location, entry_id, entry_group_id, view=None, aspect_types=None, paths=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

获取一个 Entry 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_id (str) –

    必需。Entry 标识符。它在 Entry Group 中必须是唯一的。对应于 Google Cloud 资源的 Entry 使用基于完整资源名称的 Entry ID 格式。该格式是资源的完整资源名称,但去除了完整资源名称中 API 服务名部分的双斜杠前缀。这允许使用关联的资源名称检索 Entry。

    例如,如果资源的完整资源名称是//library.googleapis.com/shelves/shelf1/books/book2,则建议的 entry_id 是library.googleapis.com/shelves/shelf1/books/book2

    对于对应于 Google Cloud 以外提供者或系统的资源的 Entry,也建议遵循相同的约定。该字段的最大长度为 4000 个字符。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • view (google.cloud.dataplex_v1.types.EntryView | str | None) – 可选。用于控制服务应返回 Entry 的哪些部分的视图。

  • aspect_types (collections.abc.MutableSequence[str] | None) – 可选。将返回的 Aspect 限制为提供的 Aspect 类型。仅适用于 CUSTOM 视图。

  • paths (collections.abc.MutableSequence[str] | None) – 可选。将返回的 Aspect 限制为 Entry 内与提供的路径关联的 Aspect。仅适用于 CUSTOM 视图。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

delete_entry(location, entry_id, entry_group_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

删除一个 AspectType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_id (str) –

    必需。Entry 标识符。它在 Entry Group 中必须是唯一的。对应于 Google Cloud 资源的 Entry 使用基于完整资源名称的 Entry ID 格式。该格式是资源的完整资源名称,但去除了完整资源名称中 API 服务名部分的双斜杠前缀。这允许使用关联的资源名称检索 Entry。

    例如,如果资源的完整资源名称是//library.googleapis.com/shelves/shelf1/books/book2,则建议的 entry_id 是library.googleapis.com/shelves/shelf1/books/book2

    对于对应于 Google Cloud 以外提供者或系统的资源的 Entry,也建议遵循相同的约定。该字段的最大长度为 4000 个字符。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

list_entries(location, entry_group_id, filter_by=None, page_size=None, page_token=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

列出特定位置的 Entries 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • filter_by (str | None) –

    可选。用于筛选要返回的 Entry 的过滤器。过滤器区分大小写。您可以按以下字段过滤请求:

    • entry_type

    • entry_source.display_name

    比较运算符为 =, !=, <, >, <=, >=。服务根据字典顺序比较字符串。您可以在过滤器中使用逻辑运算符 AND, OR, NOT。您可以使用通配符 “*”,但对于 entry_type,您需要提供完整的项目 ID 或编号。过滤器表达式示例:

    • ”entry_source.display_name=AnExampleDisplayName”

    • ”entry_type=projects/example-project/locations/global/entryTypes/example-entry_type”

    • ”entry_type=projects/example-project/locations/us/entryTypes/a*

      OR entry_type=projects/another-project/locations/*”

    • ”NOT entry_source.display_name=AnotherExampleDisplayName”。

  • page_size (int | None) – 可选。每页返回的项数。如果还有剩余结果,服务会返回一个 next_page_token。如果未指定,服务最多返回 10 个 Entry。最大值为 100;大于 100 的值将被强制转换为 100。

  • page_token (str | None) – 可选。从上一个 ListEntries 调用接收到的页面令牌。提供此令牌以检索下一页。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

search_entries(location, query, order_by=None, scope=None, page_size=None, page_token=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

搜索与给定查询和范围匹配的 Entry。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • query (str) – 必需。与范围内的 Entry 进行匹配的查询。查询语法在Dataplex Catalog 的搜索语法中定义。

  • order_by (str | None) –

    可选。指定结果的排序。支持的值有:

    • relevance(默认)

    • last_modified_timestamp

    • last_modified_timestamp asc

  • scope (str | None) – 可选。搜索应在其下运行的范围。必须是 organizations/<org_id>projects/<project_ref>。如果未指定,则默认为 name 中提供的项目所在的组织。

  • page_size (int | None) – 可选。每页返回的项数。如果还有剩余结果,服务会返回一个 next_page_token。如果未指定,服务最多返回 10 个 Entry。最大值为 100;大于 100 的值将被强制转换为 100。

  • page_token (str | None) – 可选。从上一个 ListEntries 调用接收到的页面令牌。提供此令牌以检索下一页。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

lookup_entry(location, entry_id, entry_group_id, view=None, aspect_types=None, paths=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

使用源系统上的权限按名称查找单个 Entry。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_id (str) – 必需。Entry 标识符。它在 Entry Group 中必须是唯一的。对应于 Google Cloud 资源的 Entry 使用基于完整资源名称的 Entry ID 格式。该格式是资源的完整资源名称,但去除了完整资源名称中 API 服务名部分的双斜杠前缀。这允许使用关联的资源名称检索 Entry。例如,如果资源的完整资源名称是//library.googleapis.com/shelves/shelf1/books/book2,则建议的 entry_id 是library.googleapis.com/shelves/shelf1/books/book2。对于对应于 Google Cloud 以外提供者或系统的资源的 Entry,也建议遵循相同的约定。该字段的最大长度为 4000 个字符。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • view (google.cloud.dataplex_v1.types.EntryView | str | None) – 可选。用于控制服务应返回 Entry 的哪些部分的视图。

  • aspect_types (collections.abc.MutableSequence[str] | None) – 可选。将返回的 Aspect 限制为提供的 Aspect 类型。仅适用于 CUSTOM 视图。

  • paths (collections.abc.MutableSequence[str] | None) – 可选。将返回的 Aspect 限制为 Entry 内与提供的路径关联的 Aspect。仅适用于 CUSTOM 视图。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

update_entry(location, entry_id, entry_group_id, entry_configuration, allow_missing=False, delete_missing_aspects=False, aspect_keys=None, update_mask=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

更新一个 Entry 资源。

参数:
  • entry_id (str) – 必需。Entry 标识符。它在 Entry Group 中必须是唯一的。对应于 Google Cloud 资源的 Entry 使用基于完整资源名称的 Entry ID 格式。该格式是资源的完整资源名称,但去除了完整资源名称中 API 服务名部分的双斜杠前缀。这允许使用关联的资源名称检索 Entry。例如,如果资源的完整资源名称是//library.googleapis.com/shelves/shelf1/books/book2,则建议的 entry_id 是library.googleapis.com/shelves/shelf1/books/book2。对于对应于 Google Cloud 以外提供者或系统的资源的 Entry,也建议遵循相同的约定。该字段的最大长度为 4000 个字符。

  • entry_group_id (str) – 必需。创建的 Entry 所属的 EntryGroup 资源名称。

  • entry_configuration (dict | google.cloud.dataplex_v1.types.Entry) – 必需。更新后的 Entry 配置主体。

  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – 可选。要覆盖 Entry Group 字段值的字段名称。如果此参数不存在或为空,则所有可修改字段都将被覆盖。如果请求正文中省略了此类非必需字段,则其值将为空。

  • allow_missing (bool | None) – 可选。如果设置为 true 且 Entry 不存在,服务将创建它。

  • delete_missing_aspects (bool | None) – 可选。如果设置为 true 并且 aspect_keys 指定了 Aspect 范围,服务将删除请求中未提供的该范围内的任何现有 Aspect。

  • aspect_keys (collections.abc.MutableSequence[str] | None) –

    可选。服务应修改的 Aspect 的 map 键。它支持以下语法:

    • <aspect_type_reference> - 匹配给定类型且路径为空的 Aspect。

    • <aspect_type_reference>@path - 匹配给定类型和指定路径的 Aspect。

      例如,要将 Aspect 附加到由 schema Aspect 指定的字段,路径应具有 Schema.<field_name> 格式。

    • <aspect_type_reference>@* - 匹配给定类型的所有路径的 Aspect。

    • *@path - 匹配给定路径上的所有类型的 Aspect。

    除非将 delete_missing_aspects 设置为 true,否则服务不会删除与语法匹配的现有 Aspect。如果此字段留空,服务会将其视为指定请求中精确存在的那些 Aspect。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

create_aspect_type(location, aspect_type_id, aspect_type_configuration, project_id=PROVIDE_PROJECT_ID, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

创建一个 EntryType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • aspect_type_id (str) – 必需。AspectType 标识符。

  • aspect_type_configuration (google.cloud.dataplex_v1.types.AspectType | dict) – 必需。AspectType 配置主体。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool) – 可选。如果设置,则执行请求验证,但不实际执行创建请求。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

get_aspect_type(location, aspect_type_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

获取 AspectType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • aspect_type_id (str) – 必需。AspectType 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

create_entry_type(location, entry_type_id, entry_type_configuration, project_id=PROVIDE_PROJECT_ID, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

创建一个 EntryType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_type_id (str) – 必需。EntryType 标识符。

  • entry_type_configuration (google.cloud.dataplex_v1.types.EntryType | dict) – 必需。EntryType 配置主体。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool) – 可选。如果设置,则执行请求验证,但不实际执行创建请求。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

get_entry_type(location, entry_type_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

获取 EntryType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_type_id (str) – 必需。EntryGroup 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

delete_aspect_type(location, aspect_type_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

删除一个 AspectType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • aspect_type_id (str) – 必需。AspectType 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

list_aspect_types(location, filter_by=None, order_by=None, page_size=None, page_token=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

列出特定位置的 AspectTypes 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • filter_by (str | None) – 可选。应用于列表结果的过滤器。

  • order_by (str | None) – 可选。用于对结果排序的字段。

  • page_size (int | None) – 可选。单页要返回的最大 EntryGroup 数量。

  • page_token (str | None) – 可选。用于检索下一页结果的令牌。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

update_aspect_type(location, aspect_type_id, aspect_type_configuration, project_id=PROVIDE_PROJECT_ID, update_mask=None, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

更新 AspectType 资源。

参数:
  • aspect_type_id (str) – 必需。要更新的 AspectType 的 ID。

  • aspect_type_configuration (dict | google.cloud.dataplex_v1.types.AspectType) – 必需。AspectType 更新后的配置主体。

  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – 可选。要覆盖 Entry Group 字段值的字段名称。如果此参数不存在或为空,则所有可修改字段都将被覆盖。如果请求正文中省略了此类非必需字段,则其值将为空。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool | None) – 可选。服务验证请求,但不执行任何更改。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

delete_entry_type(location, entry_type_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

删除 EntryType 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_type_id (str) – 必需。EntryType 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

list_entry_types(location, filter_by=None, order_by=None, page_size=None, page_token=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

列出特定位置的 EntryTypes 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • filter_by (str | None) – 可选。应用于列表结果的过滤器。

  • order_by (str | None) – 可选。用于对结果排序的字段。

  • page_size (int | None) – 可选。单页要返回的最大 EntryGroup 数量。

  • page_token (str | None) – 可选。用于检索下一页结果的令牌。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

update_entry_type(location, entry_type_id, entry_type_configuration, project_id=PROVIDE_PROJECT_ID, update_mask=None, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

更新 EntryType 资源。

参数:
  • entry_type_id (str) – 必需。要更新的 EntryType 的 ID。

  • entry_type_configuration (dict | google.cloud.dataplex_v1.types.EntryType) – 必需。EntryType 更新后的配置主体。

  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – 可选。要覆盖 Entry Group 字段值的字段名称。如果此参数不存在或为空,则所有可修改字段都将被覆盖。如果请求正文中省略了此类非必需字段,则其值将为空。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool | None) – 可选。服务验证请求,但不执行任何更改。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

create_entry_group(location, entry_group_id, entry_group_configuration, project_id=PROVIDE_PROJECT_ID, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

创建 Entry 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_group_id (str) – 必需。EntryGroup 标识符。

  • entry_group_configuration (google.cloud.dataplex_v1.types.EntryGroup | dict) – 必需。EntryGroup 配置主体。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool) – 可选。如果设置,则执行请求验证,但不实际执行创建请求。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

get_entry_group(location, entry_group_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

获取 EntryGroup 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_group_id (str) – 必需。EntryGroup 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

delete_entry_group(location, entry_group_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

删除 EntryGroup 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • entry_group_id (str) – 必需。EntryGroup 标识符。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

list_entry_groups(location, filter_by=None, order_by=None, page_size=None, page_token=None, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

列出特定位置的 EntryGroups 资源。

参数:
  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • filter_by (str | None) – 可选。应用于列表结果的过滤器。

  • order_by (str | None) – 可选。用于对结果排序的字段。

  • page_size (int | None) – 可选。单页要返回的最大 EntryGroup 数量。

  • page_token (str | None) – 可选。用于检索下一页结果的令牌。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

update_entry_group(location, entry_group_id, entry_group_configuration, project_id=PROVIDE_PROJECT_ID, update_mask=None, validate_only=False, retry=DEFAULT, timeout=None, metadata=())[source]

更新 EntryGroup 资源。

参数:
  • entry_group_id (str) – 必需。要更新的 EntryGroup 的 ID。

  • entry_group_configuration (dict | google.cloud.dataplex_v1.types.EntryGroup) – 必需。EntryGroup 更新后的配置主体。

  • location (str) – 必需。任务所属的 Google Cloud 位置 ID。

  • update_mask (list[str] | google.protobuf.field_mask_pb2.FieldMask | None) – 可选。要覆盖 Entry Group 字段值的字段名称。如果此参数不存在或为空,则所有可修改字段都将被覆盖。如果请求正文中省略了此类非必需字段,则其值将为空。

  • project_id (str) – 可选。任务所属的 Google Cloud 项目 ID。

  • validate_only (bool | None) – 可选。服务验证请求,但不执行任何更改。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 可选。用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 可选。等待请求完成的时间(秒)。请注意,如果指定了 retry,则超时应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 可选。提供给方法的附加元数据。

create_task(project_id, region, lake_id, body, dataplex_task_id, validate_only=None, retry=DEFAULT, timeout=None, metadata=())[source]

在湖中创建任务资源。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。任务所属的 Google Cloud 湖的 ID。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.Task) – 必需。请求主体包含 Task 实例。

  • dataplex_task_id (str) – 必需。任务标识符。

  • validate_only (bool | None) – 可选。仅验证请求,但不执行更改。默认为 false。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

delete_task(project_id, region, lake_id, dataplex_task_id, retry=DEFAULT, timeout=None, metadata=())[source]

删除任务资源。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。任务所属的 Google Cloud 湖的 ID。

  • dataplex_task_id (str) – 必需。要删除的 Google Cloud 任务的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

list_tasks(project_id, region, lake_id, page_size=None, page_token=None, filter=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[source]

列出给定湖下的任务。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。任务所属的 Google Cloud 湖的 ID。

  • page_size (int | None) – 可选。要返回的最大任务数。服务返回的数量可能少于此值。如果未指定,则最多返回 10 个任务。最大值为 1000;大于 1000 的值将被强制转换为 1000。

  • page_token (str | None) – 可选。从上一个 ListZones 调用接收到的页面令牌。提供此令牌以检索后续页面。分页时,提供给 ListZones 的所有其他参数必须与提供页面令牌的调用相匹配。

  • filter (str | None) – 可选。筛选请求。

  • order_by (str | None) – 可选。结果的排序字段。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

get_task(project_id, region, lake_id, dataplex_task_id, retry=DEFAULT, timeout=None, metadata=())[source]

获取任务资源。

参数:
  • project_id (str) – 必需。任务所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。任务所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。任务所属的 Google Cloud 湖的 ID。

  • dataplex_task_id (str) – 必需。要检索的 Google Cloud 任务的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

delete_lake(project_id, region, lake_id, retry=DEFAULT, timeout=None, metadata=())[source]

删除湖泊资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要删除的 Google Cloud 湖泊的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

create_lake(project_id, region, lake_id, body, validate_only=None, retry=DEFAULT, timeout=None, metadata=())[source]

创建湖泊资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。湖泊标识符。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.Lake) – 必需。请求正文包含一个 Lake 实例。

  • validate_only (bool | None) – 可选。仅验证请求,但不执行更改。默认为 false。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

get_lake(project_id, region, lake_id, retry=DEFAULT, timeout=None, metadata=())[source]

获取 Lake 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要检索的 Google Cloud Lake 的 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

create_zone(project_id, region, lake_id, zone_id, body, retry=DEFAULT, timeout=None, metadata=())[source]

在 Lake 中创建 Zone 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要检索的 Google Cloud Lake 的 ID。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.Zone) – 必需。请求正文包含一个 Zone 实例。

  • zone_id (str) – 必需。Zone 标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

delete_zone(project_id, region, lake_id, zone_id, retry=DEFAULT, timeout=None, metadata=())[source]

删除 Zone 资源。Zone 中的所有 Asset 都必须先删除,才能删除 Zone。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要检索的 Google Cloud Lake 的 ID。

  • zone_id (str) – 必需。Zone 标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

create_asset(project_id, region, lake_id, zone_id, asset_id, body, retry=DEFAULT, timeout=None, metadata=())[source]

创建 Asset 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要检索的 Google Cloud Lake 的 ID。

  • zone_id (str) – 必需。Zone 标识符。

  • asset_id (str) – 必需。Asset 标识符。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.Asset) – 必需。请求正文包含一个 Asset 实例。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

delete_asset(project_id, region, lake_id, asset_id, zone_id, retry=DEFAULT, timeout=None, metadata=())[source]

删除 Asset 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • lake_id (str) – 必需。要检索的 Google Cloud Lake 的 ID。

  • zone_id (str) – 必需。Zone 标识符。

  • asset_id (str) – 必需。Asset 标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

create_data_scan(project_id, region, body, data_scan_id=None, retry=DEFAULT, timeout=None, metadata=())[source]

创建 DataScan 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str | None) – 必需。数据质量扫描标识符。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.DataScan) – 必需。请求正文包含一个 DataScan 实例。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

run_data_scan(project_id, region, data_scan_id, retry=DEFAULT, timeout=None, metadata=())[source]

运行 DataScan 的按需执行。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

get_data_scan_job(project_id, region, data_scan_id=None, job_id=None, retry=DEFAULT, timeout=None, metadata=())[source]

获取 DataScan Job 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str | None) – 必需。数据质量扫描标识符。

  • job_id (str | None) – 必需。DataScanJob 的资源名称:projects/{project_id}/locations/{region}/dataScans/{data_scan_id}/jobs/{data_scan_job_id}

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

wait_for_data_scan_job(data_scan_id, job_id=None, project_id=PROVIDE_PROJECT_ID, region=None, wait_time=10, result_timeout=None)[source]

等待 Dataplex 数据扫描作业。

参数:
  • job_id (str | None) – 必需。要等待的 job_id。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • region (str | None) – 必需。Lake 所属的 Google Cloud 区域的 ID。

  • project_id (str) – 可选。Google Cloud 项目 ID。

  • wait_time (int) – 两次检查之间的秒数。

  • result_timeout (float | None) – 操作符等待数据质量扫描结果的秒数值。如果在指定的秒数后未找到结果,则抛出异常。

get_data_scan(project_id, region, data_scan_id, retry=DEFAULT, timeout=None, metadata=())[source]

获取 DataScan 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

update_data_scan(project_id, region, data_scan_id, body, update_mask=None, retry=DEFAULT, timeout=None, metadata=())[source]

更新 DataScan 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • body (dict[str, Any] | google.cloud.dataplex_v1.types.DataScan) – 必需。请求正文包含一个 DataScan 实例。

  • update_mask (dict | google.protobuf.field_mask_pb2.FieldMask | None) – 必需。要更新的字段掩码。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

delete_data_scan(project_id, region, data_scan_id, retry=DEFAULT, timeout=None, metadata=())[source]

删除 DataScan 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

list_data_scan_jobs(project_id, region, data_scan_id, retry=DEFAULT, timeout=None, metadata=())[source]

列出给定 DataScan 下的 DataScanJob。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str) – 必需。数据质量扫描标识符。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None,则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

class airflow.providers.google.cloud.hooks.dataplex.DataplexAsyncHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

继承自:airflow.providers.google.common.hooks.base_google.GoogleBaseAsyncHook

用于 Google Cloud Dataplex API 的异步 Hook。

Hook 中所有使用 project_id 的方法都必须使用关键字参数调用,而不是位置参数。

sync_hook_class[source]
async get_dataplex_data_scan_client()[source]

返回 DataScanServiceAsyncClient。

async get_data_scan_job(project_id, region, data_scan_id=None, job_id=None, retry=DEFAULT, timeout=None, metadata=())[source]

获取 DataScan Job 资源。

参数:
  • project_id (str) – 必需。湖泊所属的 Google Cloud 项目的 ID。

  • region (str) – 必需。湖泊所属的 Google Cloud 区域的 ID。

  • data_scan_id (str | None) – 必需。DataScan 标识符。

  • job_id (str | None) – 必需。DataScanJob 的资源名称:projects/{project_id}/locations/{region}/dataScans/{data_scan_id}/jobs/{data_scan_job_id}

  • retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定为 None,请求将不会被重试。

  • timeout (float | None) – 等待请求完成的时间量(秒)。请注意,如果指定了 retry,则超时适用于每次单独尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给该方法的附加元数据。

本条目有帮助吗?