airflow.providers.google.cloud.operators.cloud_batch

CloudBatchSubmitJobOperator

提交一个作业并等待其完成。

CloudBatchDeleteJobOperator

删除一个作业并等待操作完成。

CloudBatchListJobsOperator

列出 Cloud Batch 作业。

CloudBatchListTasksOperator

列出给定作业的 Cloud Batch 任务。

模块内容

class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchSubmitJobOperator(project_id, region, job_name, job, polling_period_seconds=10, timeout_seconds=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

提交一个作业并等待其完成。

参数:
  • project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。服务所属的 Google Cloud 区域 ID。

  • job_name (str) – 必需。要创建的作业名称。

  • job (dict | google.cloud.batch_v1.Job) – 必需。包含要提交作业配置的作业描述符。

  • polling_period_seconds (float) – 可选:控制可延迟运行结果的轮询速率。默认情况下,触发器每 10 秒轮询一次。

  • timeout – 此请求的超时时间。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者所需账号的链式列表,以获取列表中最后一个账号的 access_token,该 token 将在请求中被模拟使用。如果设置为字符串,该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号授予原始账号此角色(模板化)。

  • deferrable (bool) – 以可延迟模式运行 Operator

template_fields = ('project_id', 'region', 'gcp_conn_id', 'impersonation_chain', 'job_name')[source]
project_id[source]
region[source]
job_name[source]
job[source]
polling_period_seconds = 10[source]
timeout_seconds = None[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
deferrable = True[source]
execute(context)[source]

创建 Operator 时派生。

Context 是与渲染 Jinja 模板时使用的字典相同。

请参考 get_template_context 获取更多上下文信息。

execute_complete(context, event)[source]
class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchDeleteJobOperator(project_id, region, job_name, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除一个作业并等待操作完成。

参数:
  • project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。服务所属的 Google Cloud 区域 ID。

  • job_name (str) – 必需。要删除的作业名称。

  • timeout (float | None) – 此请求的超时时间。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者所需账号的链式列表,以获取列表中最后一个账号的 access_token,该 token 将在请求中被模拟使用。如果设置为字符串,该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号授予原始账号此角色(模板化)。

template_fields = ('project_id', 'region', 'gcp_conn_id', 'impersonation_chain', 'job_name')[source]
project_id[source]
region[source]
job_name[source]
timeout = None[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
execute(context)[source]

创建 Operator 时派生。

Context 是与渲染 Jinja 模板时使用的字典相同。

请参考 get_template_context 获取更多上下文信息。

class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListJobsOperator(project_id, region, gcp_conn_id='google_cloud_default', filter=None, limit=None, impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出 Cloud Batch 作业。

参数:
  • project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。服务所属的 Google Cloud 区域 ID。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • filter (str | None) – 用于列出作业的过滤器。如果留空,则列出所有作业。

  • limit (int | None) – 要列出的作业数量。如果留空,将返回所有匹配过滤器的作业。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者所需账号的链式列表,以获取列表中最后一个账号的 access_token,该 token 将在请求中被模拟使用。如果设置为字符串,该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号授予原始账号此角色(模板化)。

template_fields = ('project_id', 'region', 'gcp_conn_id', 'impersonation_chain')[source]
project_id[source]
region[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
filter = None[source]
limit = None[source]
execute(context)[source]

创建 Operator 时派生。

Context 是与渲染 Jinja 模板时使用的字典相同。

请参考 get_template_context 获取更多上下文信息。

class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListTasksOperator(project_id, region, job_name, gcp_conn_id='google_cloud_default', impersonation_chain=None, group_name='group0', filter=None, limit=None, **kwargs)[source]

基类: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

列出给定作业的 Cloud Batch 任务。

参数:
  • project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。

  • region (str) – 必需。服务所属的 Google Cloud 区域 ID。

  • job_name (str) – 必需。要列出任务的作业名称。

  • gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。

  • filter (str | None) – 用于列出作业的过滤器。如果留空,则列出所有作业。

  • group_name (str) – 拥有该任务的组名称。默认为 group0

  • limit (int | None) – 要列出的任务数量。如果留空,将返回所有匹配过滤器的任务。

  • impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号,用于使用短期凭据进行模拟,或者所需账号的链式列表,以获取列表中最后一个账号的 access_token,该 token 将在请求中被模拟使用。如果设置为字符串,该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列,列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色,列表中第一个账号授予原始账号此角色(模板化)。

template_fields = ('project_id', 'region', 'job_name', 'gcp_conn_id', 'impersonation_chain', 'group_name')[source]
project_id[source]
region[source]
job_name[source]
gcp_conn_id = 'google_cloud_default'[source]
impersonation_chain = None[source]
group_name = 'group0'[source]
filter = None[source]
limit = None[source]
execute(context)[source]

创建 Operator 时派生。

Context 是与渲染 Jinja 模板时使用的字典相同。

请参考 get_template_context 获取更多上下文信息。

此条目有帮助吗?