airflow.providers.google.cloud.hooks.cloud_batch

模块内容

类

CloudBatchHook

用于 Google Cloud Batch 服务的 Hook。

CloudBatchAsyncHook

用于 Google Cloud Batch 服务的异步 Hook。
class airflow.providers.google.cloud.hooks.cloud_batch.CloudBatchHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Cloud Batch 服务的 Hook。

参数

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的帐户链式列表，该 access_token 将在请求中进行模拟。如果设置为字符串，则该帐户必须授予原始帐户服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须授予直接前一个标识服务帐户令牌创建者 IAM 角色，列表中的第一个帐户将此角色授予原始帐户。

get_conn()[源代码]

检索到 GCE Batch 的连接。

返回

Google Batch 服务客户端对象。

submit_batch_job(job_name, job, region, project_id=PROVIDE_PROJECT_ID)[源代码]
delete_job(job_name, region, project_id=PROVIDE_PROJECT_ID)[源代码]
list_jobs(region, project_id=PROVIDE_PROJECT_ID, filter=None, limit=None)[源代码]
list_tasks(region, job_name, project_id=PROVIDE_PROJECT_ID, group_name='group0', filter=None, limit=None)[源代码]
wait_for_job(job_name, polling_period_seconds=10, timeout=None)[源代码]
get_job(job_name)[源代码]
class airflow.providers.google.cloud.hooks.cloud_batch.CloudBatchAsyncHook(gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[源代码]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Cloud Batch 服务的异步 Hook。

参数

  • gcp_conn_id (str) – 获取连接信息时使用的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务帐户，用于使用短期凭据进行模拟，或用于获取列表中最后一个帐户的 access_token 的帐户链式列表，该 access_token 将在请求中进行模拟。如果设置为字符串，则该帐户必须授予原始帐户服务帐户令牌创建者 IAM 角色。如果设置为序列，则列表中的标识必须授予直接前一个标识服务帐户令牌创建者 IAM 角色，列表中的第一个帐户将此角色授予原始帐户。

get_conn()[源代码]

返回 Hook 的连接。

async get_batch_job(job_name)[源代码]

此条目是否有帮助？