`airflow.providers.google.cloud.hooks.cloud_composer`¶

模块内容¶

类¶

`CloudComposerHook`	用于 Google Cloud Composer API 的 Hook。
`CloudComposerAsyncHook`	用于 Google Cloud Composer 异步 API 的 Hook。

class airflow.providers.google.cloud.hooks.cloud_composer.CloudComposerHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]¶

基类： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Cloud Composer API 的 Hook。

client_options[源代码]¶

get_environment_client()[源代码]¶

检索允许访问环境服务的客户端库对象。

get_image_versions_client()[源代码]¶

检索允许访问映像版本服务的客户端库对象。

wait_for_operation(operation, timeout=None)[源代码]¶

等待长时间运行的操作完成。

get_operation(operation_name)[源代码]¶

get_environment_name(project_id, region, environment_id)[源代码]¶

get_parent(project_id, region)[源代码]¶

create_environment(project_id, region, environment, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

创建一个新环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要创建的环境。这对应于 request 实例上的 environment 字段；如果提供了 request，则不应设置此字段。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

delete_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

删除环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

get_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

获取现有环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

list_environments(project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
page_size (int | None) – 要返回的最大环境数量。
page_token (str | None) – 从之前的列表请求返回的 next_page_token 值（如果有）。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

update_environment(project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=())[source]¶

更新环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) –
一个补丁环境。由 updateMask 指定的字段将从补丁环境复制到正在更新的环境中。

这对应于 request 实例上的 environment 字段；如果提供了 request，则不应设置此字段。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必需。要更新的字段的以逗号分隔的路径列表，相对于 Environment。如果提供了字典，则其形式必须与 protobuf 消息 FieldMask 相同
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

list_image_versions(project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=())[source]¶

列出提供的位置的 ImageVersions。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
page_size (int | None) – 要返回的最大环境数量。
page_token (str | None) – 从之前的列表请求返回的 next_page_token 值（如果有）。
include_past_releases (bool) – 包含过去版本的标志
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

execute_airflow_command(project_id, region, environment_id, command, subcommand, parameters, retry=DEFAULT, timeout=None, metadata=())[source]¶

为提供的 Composer 环境执行 Airflow 命令。

参数

project_id (str) – 该服务所属的 Google Cloud 项目的 ID。
region (str) – 该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 该服务所属的 Google Cloud 环境的 ID。
command (str) – Airflow 命令。
subcommand (str) – Airflow 子命令。
parameters (collections.abc.MutableSequence[str]) – Airflow 命令/子命令的参数，以参数数组的形式。它可能包含位置参数，例如 ["my-dag-id"]、键值参数，例如 ["--foo=bar"] 或 ["--foo","bar"]，或其他标志，例如 ["-f"]。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

poll_airflow_command(project_id, region, environment_id, execution_id, pod, pod_namespace, next_line_number, retry=DEFAULT, timeout=None, metadata=())[source]¶

为提供的 Composer 环境轮询 Airflow 命令执行结果。

参数

project_id (str) – 该服务所属的 Google Cloud 项目的 ID。
region (str) – 该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 该服务所属的 Google Cloud 环境的 ID。
execution_id (str) – 命令执行的唯一 ID。
pod (str) – 执行命令的 pod 的名称。
pod_namespace (str) – 执行命令的 pod 的命名空间。
next_line_number (int) – 应从中获取新日志的行号。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

wait_command_execution_result(project_id, region, environment_id, execution_cmd_info, retry=DEFAULT, timeout=None, metadata=(), poll_interval=10)[source]¶

class airflow.providers.google.cloud.hooks.cloud_composer.CloudComposerAsyncHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

基类： airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Cloud Composer 异步 API 的 Hook。

client_options[源代码]¶

get_environment_client()[源代码]¶

检索允许访问环境服务的客户端库对象。

get_environment_name(project_id, region, environment_id)[源代码]¶

get_parent(project_id, region)[源代码]¶

async get_operation(operation_name)[源代码]¶

async create_environment(project_id, region, environment, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

创建一个新环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要创建的环境。这对应于 request 实例上的 environment 字段；如果提供了 request，则不应设置此字段。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指示应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

async delete_environment(project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

删除环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指示应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

async update_environment(project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

更新环境。

参数

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) –
一个补丁环境。由 updateMask 指定的字段将从补丁环境复制到正在更新的环境中。

这对应于 request 实例上的 environment 字段；如果提供了 request，则不应设置此字段。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必需。要更新的字段的以逗号分隔的路径列表，相对于 Environment。如果提供了字典，则其形式必须与 protobuf 消息 FieldMask 相同
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指示应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

async execute_airflow_command(project_id, region, environment_id, command, subcommand, parameters, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

为提供的 Composer 环境执行 Airflow 命令。

参数

project_id (str) – 该服务所属的 Google Cloud 项目的 ID。
region (str) – 该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 该服务所属的 Google Cloud 环境的 ID。
command (str) – Airflow 命令。
subcommand (str) – Airflow 子命令。
parameters (collections.abc.MutableSequence[str]) – Airflow 命令/子命令的参数，以参数数组的形式。它可能包含位置参数，例如 ["my-dag-id"]、键值参数，例如 ["--foo=bar"] 或 ["--foo","bar"]，或其他标志，例如 ["-f"]。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指示应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

async poll_airflow_command(project_id, region, environment_id, execution_id, pod, pod_namespace, next_line_number, retry=DEFAULT, timeout=None, metadata=())[源代码]¶

为提供的 Composer 环境轮询 Airflow 命令执行结果。

参数

project_id (str) – 该服务所属的 Google Cloud 项目的 ID。
region (str) – 该服务所属的 Google Cloud 区域的 ID。
environment_id (str) – 该服务所属的 Google Cloud 环境的 ID。
execution_id (str) – 命令执行的唯一 ID。
pod (str) – 执行命令的 pod 的名称。
pod_namespace (str) – 执行命令的 pod 的命名空间。
next_line_number (int) – 应从中获取新日志的行号。
retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 指示应该重试哪些错误（如果有）。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。

async wait_command_execution_result(project_id, region, environment_id, execution_cmd_info, retry=DEFAULT, timeout=None, metadata=(), poll_interval=10)[源代码]¶

airflow.providers.google.cloud.hooks.cloud_composer¶

模块内容¶

类¶

`airflow.providers.google.cloud.hooks.cloud_composer`¶