airflow.providers.google.cloud.operators.cloud_batch¶
类¶
提交一个作业并等待其完成。 |
|
删除一个作业并等待操作完成。 |
|
列出 Cloud Batch 作业。 |
|
列出给定作业的 Cloud Batch 任务。 |
模块内容¶
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchSubmitJobOperator(project_id, region, job_name, job, polling_period_seconds=10, timeout_seconds=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator提交一个作业并等待其完成。
- 参数:
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要创建的作业名称。
job (dict | google.cloud.batch_v1.Job) – 必需。包含要提交作业配置的作业描述符。
polling_period_seconds (float) – 可选：控制可延迟运行结果的轮询速率。默认情况下，触发器每 10 秒轮询一次。
timeout – 此请求的超时时间。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者所需账号的链式列表，以获取列表中最后一个账号的 access_token，该 token 将在请求中被模拟使用。如果设置为字符串，该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号授予原始账号此角色（模板化）。
deferrable (bool) – 以可延迟模式运行 Operator
- template_fields = ('project_id', 'region', 'gcp_conn_id', 'impersonation_chain', 'job_name')[source]¶
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchDeleteJobOperator(project_id, region, job_name, timeout=None, gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator删除一个作业并等待操作完成。
- 参数:
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要删除的作业名称。
timeout (float | None) – 此请求的超时时间。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者所需账号的链式列表，以获取列表中最后一个账号的 access_token，该 token 将在请求中被模拟使用。如果设置为字符串，该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号授予原始账号此角色（模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListJobsOperator(project_id, region, gcp_conn_id='google_cloud_default', filter=None, limit=None, impersonation_chain=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出 Cloud Batch 作业。
- 参数:
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
filter (str | None) – 用于列出作业的过滤器。如果留空，则列出所有作业。
limit (int | None) – 要列出的作业数量。如果留空，将返回所有匹配过滤器的作业。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者所需账号的链式列表，以获取列表中最后一个账号的 access_token，该 token 将在请求中被模拟使用。如果设置为字符串，该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号授予原始账号此角色（模板化）。
- class airflow.providers.google.cloud.operators.cloud_batch.CloudBatchListTasksOperator(project_id, region, job_name, gcp_conn_id='google_cloud_default', impersonation_chain=None, group_name='group0', filter=None, limit=None, **kwargs)[source]¶
基类:
airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator列出给定作业的 Cloud Batch 任务。
- 参数:
project_id (str) – 必需。服务所属的 Google Cloud 项目 ID。
region (str) – 必需。服务所属的 Google Cloud 区域 ID。
job_name (str) – 必需。要列出任务的作业名称。
gcp_conn_id (str) – 用于连接到 Google Cloud 的连接 ID。
filter (str | None) – 用于列出作业的过滤器。如果留空，则列出所有作业。
group_name (str) – 拥有该任务的组名称。默认为 group0。
limit (int | None) – 要列出的任务数量。如果留空，将返回所有匹配过滤器的任务。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 可选的服务账号，用于使用短期凭据进行模拟，或者所需账号的链式列表，以获取列表中最后一个账号的 access_token，该 token 将在请求中被模拟使用。如果设置为字符串，该账号必须授予原始账号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予直接前一个身份 Service Account Token Creator IAM 角色，列表中第一个账号授予原始账号此角色（模板化）。