airflow.providers.google.cloud.operators.cloud_composer¶

属性¶

`CLOUD_COMPOSER_BASE_LINK`
`CLOUD_COMPOSER_DETAILS_LINK`
`CLOUD_COMPOSER_ENVIRONMENTS_LINK`

类¶

`CloudComposerEnvironmentLink`	构建 Cloud Composer 环境链接的辅助类。
`CloudComposerEnvironmentsLink`	构建 Cloud Composer 环境链接的辅助类。
`CloudComposerCreateEnvironmentOperator`	创建一个新环境。
`CloudComposerDeleteEnvironmentOperator`	删除一个环境。
`CloudComposerGetEnvironmentOperator`	获取现有环境。
`CloudComposerListEnvironmentsOperator`	列出环境。
`CloudComposerUpdateEnvironmentOperator`	更新一个环境。
`CloudComposerListImageVersionsOperator`	列出指定位置的 ImageVersions。
`CloudComposerRunAirflowCLICommandOperator`	对指定的 Composer 环境运行 Airflow 命令。

模块内容¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_BASE_LINK = 'https://console.cloud.google.com/composer/environments'[source]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_DETAILS_LINK = 'https://console.cloud.google.com/composer/environments/detail/{region}/{environment_id}/monitori...[source]¶

airflow.providers.google.cloud.operators.cloud_composer.CLOUD_COMPOSER_ENVIRONMENTS_LINK = 'https://console.cloud.google.com/composer/environments?project={project_id}'[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentLink[source]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

构建 Cloud Composer 环境链接的辅助类。

name = 'Cloud Composer Environment'[source]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'composer_conf'[source]¶

format_str = 'https://console.cloud.google.com/composer/environments/detail/{region}/{environment_id}/monitori...[source]¶

static persist(operator_instance, context)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerEnvironmentsLink[source]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

构建 Cloud Composer 环境链接的辅助类。

name = 'Cloud Composer 环境列表'[source]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'composer_conf'[source]¶

format_str = 'https://console.cloud.google.com/composer/environments?project={project_id}'[source]¶

static persist(operator_instance, context)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerCreateEnvironmentOperator(*, project_id, region, environment_id, environment, gcp_conn_id='google_cloud_default', impersonation_chain=None, retry=DEFAULT, timeout=None, metadata=(), deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建一个新环境。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
environment (google.cloud.orchestration.airflow.service_v1.types.Environment | dict) – 要创建的环境。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
deferrable (bool) – 以 deferrable 模式运行操作器
pooling_period_seconds (int) – 可选：控制 deferrable 运行结果的轮询速率。默认情况下，触发器将每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'environment', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

environment[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerDeleteEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除一个环境。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。
deferrable (bool) – 以 deferrable 模式运行操作器
pooling_period_seconds (int) – 可选：控制 deferrable 运行结果的轮询速率。默认情况下，触发器将每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerGetEnvironmentOperator(*, project_id, region, environment_id, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

获取现有环境。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListEnvironmentsOperator(*, project_id, region, page_size=None, page_token=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出环境。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
page_size (int | None) – 要返回的最大环境数。
page_token (str | None) – 如果有，则为之前 List 请求返回的 `next_page_token` 值。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

page_size = None[source]¶

page_token = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerUpdateEnvironmentOperator(*, project_id, region, environment_id, environment, update_mask, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), pooling_period_seconds=30, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

更新一个环境。

参数:

project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
environment_id (str) – 必需。服务所属的 Google Cloud 环境 ID。
environment (dict | google.cloud.orchestration.airflow.service_v1.types.Environment) – 补丁环境。`updateMask` 指定的字段将从补丁环境复制到待更新的环境中。
update_mask (dict | google.protobuf.field_mask_pb2.FieldMask) – 必需。一个逗号分隔的路径列表，相对于 `Environment`，表示要更新的字段。如果提供的是字典，其形式必须与 protobuf 消息 FieldMask 相同。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。
deferrable (bool) – 以 deferrable 模式运行操作器
pooling_period_seconds (int) – 可选：控制 deferrable 运行结果的轮询速率。默认情况下，触发器将每 30 秒轮询一次。

template_fields = ('project_id', 'region', 'environment_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

project_id[source]¶

region[source]¶

environment_id[source]¶

environment[source]¶

update_mask[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

pooling_period_seconds = 30[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_complete(context, event)[source]¶

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerListImageVersionsOperator(*, project_id, region, page_size=None, page_token=None, include_past_releases=False, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出指定位置的 ImageVersions。

参数:

request – 请求对象。列出项目和位置中的 ImageVersion。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str)
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。

template_fields = ('project_id', 'region', 'impersonation_chain')[source]¶

project_id[source]¶

region[source]¶

page_size = None[source]¶

page_token = None[source]¶

include_past_releases = False[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

创建操作器时派生。

上下文与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.cloud_composer.CloudComposerRunAirflowCLICommandOperator(*, project_id, region, environment_id, command, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), poll_interval=10, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

对指定的 Composer 环境运行 Airflow 命令。

参数:

project_id (str) – 服务所属的 Google Cloud 项目 ID。
region (str) – 服务所属的 Google Cloud 区域 ID。
environment_id (str) – 服务所属的 Google Cloud 环境 ID。
command (str) – Airflow 命令。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 指定哪些错误（如果有）应重试。
timeout (float | None) – 此请求的超时时间。
metadata (collections.abc.Sequence[tuple[str, str]]) – 应与请求一起作为元数据发送的字符串。
gcp_conn_id (str) – 用于连接 Google Cloud Platform 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或获取列表中最后一个账号的 access_token 所需的账号链，该账号将用于请求中的模拟。如果设置为字符串，该账号必须授予发起账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号将此角色授予发起账号（模板化）。
deferrable (bool) – 以 deferrable 模式运行操作器
poll_interval (int) – 可选：控制可延迟运行结果的轮询速率。默认情况下，触发器将每 10 秒轮询一次。