airflow.providers.google.cloud.hooks.managed_kafka¶

此模块包含 Managed Service for Apache Kafka Hook。

类¶

`ManagedKafkaTokenProvider`	用于为通过 confluent 与 Google Cloud 管理的 Apache Kafka 集群建立连接提供认证令牌的辅助工具。
`ManagedKafkaHook`	Managed Service for Apache Kafka API 的 Hook。

模块内容¶

class airflow.providers.google.cloud.hooks.managed_kafka.ManagedKafkaTokenProvider(credentials)[source]¶

用于为通过 confluent 与 Google Cloud 管理的 Apache Kafka 集群建立连接提供认证令牌的辅助工具。

confluent_token()[source]¶

class airflow.providers.google.cloud.hooks.managed_kafka.ManagedKafkaHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

Managed Service for Apache Kafka API 的 Hook。

get_managed_kafka_client()[source]¶

返回 ManagedKafkaClient 对象。

wait_for_operation(operation, timeout=None)[source]¶

等待长期运行的操作完成。

get_confluent_token(config_str)[source]¶

获取 confluent 客户端的认证令牌。

create_cluster(project_id, location, cluster, cluster_id, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

创建一个新的 Apache Kafka 集群。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster (google.cloud.managedkafka_v1.types.Cluster | dict) – 必需。要创建的集群的配置。其 name 字段将被忽略。
cluster_id (str) – 必需。要用于集群的 ID，它将成为集群名称的最后一个组成部分。ID 必须是 1-63 个字符长，并且符合正则表达式 [a-z]([-a-z0-9]*[a-z0-9])? 以符合 RFC 1035。此值的结构类似于：my-cluster-id。
request_id (str | None) – 可选。用于标识请求的可选请求 ID。指定唯一的请求 ID 以避免请求重复。如果请求超时或失败，使用相同的 ID 重试允许服务器识别先前的尝试。在至少 60 分钟内，服务器会忽略带有相同 ID 的重复请求。例如，考虑您发起一个初始请求且该请求超时的情景。如果您在上次请求的 60 分钟内使用相同的请求 ID 再次发起请求，服务器会检查是否收到了带有相同请求 ID 的原始操作。如果收到，服务器会忽略第二个请求。请求 ID 必须是有效的 UUID。不支持零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

list_clusters(project_id, location, page_size=None, page_token=None, filter=None, order_by=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出给定项目和位置中的集群。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
page_size (int | None) – 可选。要返回的最大集群数。服务可能会返回少于此值的集群。如果未指定，服务器将选择一个适当的默认值。
page_token (str | None) – 可选。一个页面令牌，从先前的 ListClusters 调用接收。提供此令牌以检索后续页面。分页时，提供给 ListClusters 的所有其他参数必须与提供页面令牌的调用匹配。
filter (str | None) – 可选。结果的过滤表达式。
order_by (str | None) – 可选。结果的排序字段。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

get_cluster(project_id, location, cluster_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回单个集群的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要返回其配置的集群 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

update_cluster(project_id, location, cluster_id, cluster, update_mask, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新单个集群的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要更新其配置的集群 ID。
cluster (google.cloud.managedkafka_v1.types.Cluster | dict) – 必需。要更新的集群。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。字段掩码用于指定在更新时要覆盖集群资源中的字段。update_mask 中指定的字段是相对于资源而言，而不是相对于完整请求。如果字段在掩码中，它将被覆盖。
request_id (str | None) – 可选。用于标识请求的可选请求 ID。指定唯一的请求 ID 以避免请求重复。如果请求超时或失败，使用相同的 ID 重试允许服务器识别先前的尝试。在至少 60 分钟内，服务器会忽略带有相同 ID 的重复请求。例如，考虑您发起一个初始请求且该请求超时的情景。如果您在上次请求的 60 分钟内使用相同的请求 ID 再次发起请求，服务器会检查是否收到了带有相同请求 ID 的原始操作。如果收到，服务器会忽略第二个请求。请求 ID 必须是有效的 UUID。不支持零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

delete_cluster(project_id, location, cluster_id, request_id=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

删除单个集群。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要删除的集群 ID。
request_id (str | None) – 可选。用于标识请求的可选请求 ID。指定唯一的请求 ID 以避免请求重复。如果请求超时或失败，使用相同的 ID 重试允许服务器识别先前的尝试。在至少 60 分钟内，服务器会忽略带有相同 ID 的重复请求。例如，考虑您发起一个初始请求且该请求超时的情景。如果您在上次请求的 60 分钟内使用相同的请求 ID 再次发起请求，服务器会检查是否收到了带有相同请求 ID 的原始操作。如果收到，服务器会忽略第二个请求。请求 ID 必须是有效的 UUID。不支持零 UUID (00000000-0000-0000-0000-000000000000)。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

create_topic(project_id, location, cluster_id, topic_id, topic, retry=DEFAULT, timeout=None, metadata=())[source]¶

在给定的项目和位置中创建一个新主题。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要在其中创建主题的集群 ID。
topic_id (str) – 必需。要用于主题的 ID，它将成为主题名称的最后一个组成部分。
topic (google.cloud.managedkafka_v1.types.Topic | dict) – 必需。要创建的主题的配置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

list_topics(project_id, location, cluster_id, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出给定集群中的主题。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要列出其主题的集群 ID。
page_size (int | None) – 可选。要返回的最大主题数。服务可能会返回少于此值的主题。如果未设置或为零，则返回父级的所有主题。
page_token (str | None) – 可选。一个页面令牌，从先前的 ListTopics 调用接收。提供此令牌以检索后续页面。分页时，提供给 ListTopics 的所有其他参数必须与提供页面令牌的调用匹配。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

get_topic(project_id, location, cluster_id, topic_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回单个主题的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要返回其主题的集群 ID。
topic_id (str) – 必需。要返回其配置的主题 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

update_topic(project_id, location, cluster_id, topic_id, topic, update_mask, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新单个主题的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要更新其主题的集群 ID。
topic_id (str) – 必需。要更新其配置的主题 ID。
topic (google.cloud.managedkafka_v1.types.Topic | dict) – 必需。要更新的主题。其 name 字段必须已填充。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。字段掩码用于指定在更新时要覆盖 Topic 资源中的字段。update_mask 中指定的字段是相对于资源而言，而不是相对于完整请求。如果字段在掩码中，它将被覆盖。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

delete_topic(project_id, location, cluster_id, topic_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

删除单个主题。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要删除其主题的集群 ID。
topic_id (str) – 必需。要删除的主题 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

list_consumer_groups(project_id, location, cluster_id, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出给定集群中的消费者组。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要列出其消费者组的集群 ID。
page_size (int | None) – 可选。要返回的最大消费者组数。服务可能会返回少于此值。如果未设置或为零，则返回父级的所有消费者组。
page_token (str | None) – 可选。一个页面令牌，从先前的 ListConsumerGroups 调用接收。提供此令牌以检索后续页面。分页时，提供给 ListConsumerGroups 的所有其他参数必须与提供页面令牌的调用匹配。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

get_consumer_group(project_id, location, cluster_id, consumer_group_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

返回单个消费者组的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要返回其消费者组的集群 ID。
consumer_group_id (str) – 必需。要返回其配置的消费者组 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

update_consumer_group(project_id, location, cluster_id, consumer_group_id, consumer_group, update_mask, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新单个消费者组的属性。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要更新其主题的集群 ID。
consumer_group_id (str) – 必需。要更新其配置的消费者组 ID。
consumer_group (google.cloud.managedkafka_v1.types.ConsumerGroup | dict) – 必需。要更新的 consumer_group。其 name 字段必须已填充。
update_mask (google.protobuf.field_mask_pb2.FieldMask | dict) – 必需。字段掩码用于指定在更新时要覆盖 ConsumerGroup 资源中的字段。update_mask 中指定的字段是相对于资源而言，而不是相对于完整请求。如果字段在掩码中，它将被覆盖。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。

delete_consumer_group(project_id, location, cluster_id, consumer_group_id, retry=DEFAULT, timeout=None, metadata=())[source]¶

删除单个消费者组。

参数：

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
location (str) – 必需。服务所属的 Google Cloud 区域 ID。
cluster_id (str) – 必需。要删除其消费者组的集群 ID。
consumer_group_id (str) – 必需。要删除的消费者组 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应该重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应随请求一起发送作为元数据的字符串。