airflow.providers.google.cloud.links.dataproc¶

此模块包含 Google Dataproc 链接。

属性¶

`DATAPROC_BASE_LINK`
`DATAPROC_JOB_LINK`
`DATAPROC_CLUSTER_LINK`
`DATAPROC_WORKFLOW_TEMPLATE_LINK`
`DATAPROC_WORKFLOW_LINK`
`DATAPROC_BATCH_LINK`
`DATAPROC_BATCHES_LINK`
`DATAPROC_JOB_LINK_DEPRECATED`
`DATAPROC_CLUSTER_LINK_DEPRECATED`

类¶

`DataprocLink`	用于构造 Dataproc 资源链接的辅助类。
`DataprocListLink`	用于构造 Dataproc 资源列表链接的辅助类。
`DataprocClusterLink`	用于构造 Dataproc 集群链接的辅助类。
`DataprocJobLink`	用于构造 Dataproc 作业链接的辅助类。
`DataprocWorkflowLink`	用于构造 Dataproc 工作流链接的辅助类。
`DataprocWorkflowTemplateLink`	用于构造 Dataproc 工作流模板链接的辅助类。
`DataprocBatchLink`	用于构造 Dataproc 批量作业链接的辅助类。
`DataprocBatchesListLink`	用于构造 Dataproc 批量作业列表链接的辅助类。

函数¶

__getattr__(name)

模块内容¶

airflow.providers.google.cloud.links.dataproc.__getattr__(name)[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_BASE_LINK = 'https://console.cloud.google.com/dataproc'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_JOB_LINK = 'https://console.cloud.google.com/dataproc/jobs/{job_id}?region={region}&project={project_id}'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_CLUSTER_LINK = 'https://console.cloud.google.com/dataproc/clusters/{cluster_id}/monitoring?region={region}&proje...'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_WORKFLOW_TEMPLATE_LINK = 'https://console.cloud.google.com/dataproc/workflows/templates/{region}/{workflow_template_id}?pr...'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_WORKFLOW_LINK = 'https://console.cloud.google.com/dataproc/workflows/instances/{region}/{workflow_id}?project={pr...'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_BATCH_LINK = 'https://console.cloud.google.com/dataproc/batches/{region}/{batch_id}/monitoring?project={project_id}'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_BATCHES_LINK = 'https://console.cloud.google.com/dataproc/batches?project={project_id}'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_JOB_LINK_DEPRECATED = 'https://console.cloud.google.com/dataproc/jobs/{resource}?region={region}&project={project_id}'[源代码]¶

airflow.providers.google.cloud.links.dataproc.DATAPROC_CLUSTER_LINK_DEPRECATED = 'https://console.cloud.google.com/dataproc/clusters/{resource}/monitoring?region={region}&project...'[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocLink[源代码]¶

Bases: airflow.sdk.BaseOperatorLink

用于构造 Dataproc 资源链接的辅助类。

警告

此链接即将被弃用。

name = 'Dataproc 资源'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'conf'[源代码]¶

static persist(context, task_instance, url, resource)[源代码]¶

get_link(operator, *, ti_key)[源代码]¶

外部系统的链接。

参数:

operator (airflow.models.BaseOperator) – 此链接关联的 Airflow 操作符对象。
ti_key (airflow.models.taskinstancekey.TaskInstanceKey) – 要返回链接的任务实例 ID。

返回:

外部系统的链接

返回类型:

str

__attrs_post_init__()[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocListLink[源代码]¶

Bases: airflow.sdk.BaseOperatorLink

用于构造 Dataproc 资源列表链接的辅助类。

警告

此链接已弃用。

name = 'Dataproc 资源'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'list_conf'[源代码]¶

static persist(context, task_instance, url)[源代码]¶

get_link(operator, *, ti_key)[源代码]¶

外部系统的链接。

参数:

operator (airflow.models.BaseOperator) – 此链接关联的 Airflow 操作符对象。
ti_key (airflow.models.taskinstancekey.TaskInstanceKey) – 要返回链接的任务实例 ID。

返回:

外部系统的链接

返回类型:

str

__attrs_post_init__()[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocClusterLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 集群链接的辅助类。

name = 'Dataproc 集群'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_cluster'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/clusters/{cluster_id}/monitoring?region={region}&proje...'[源代码]¶

static persist(context, operator, cluster_id, region, project_id)[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocJobLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 作业链接的辅助类。

name = 'Dataproc 作业'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_job'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/jobs/{job_id}?region={region}&project={project_id}'[源代码]¶

static persist(context, operator, job_id, region, project_id)[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocWorkflowLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 工作流链接的辅助类。

name = 'Dataproc 工作流'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_workflow'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/workflows/instances/{region}/{workflow_id}?project={pr...'[源代码]¶

static persist(context, operator, workflow_id, project_id, region)[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocWorkflowTemplateLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 工作流模板链接的辅助类。

name = 'Dataproc 工作流模板'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_workflow_template'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/workflows/templates/{region}/{workflow_template_id}?pr...'[源代码]¶

static persist(context, operator, workflow_template_id, project_id, region)[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocBatchLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 批量作业链接的辅助类。

name = 'Dataproc 批量作业'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_batch'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/batches/{region}/{batch_id}/monitoring?project={project_id}'[源代码]¶

static persist(context, operator, batch_id, project_id, region)[源代码]¶

class airflow.providers.google.cloud.links.dataproc.DataprocBatchesListLink[源代码]¶

Bases: airflow.providers.google.cloud.links.base.BaseGoogleLink

用于构造 Dataproc 批量作业列表链接的辅助类。

name = 'Dataproc 批量作业列表'[源代码]¶: 链接的名称。这将是任务 UI 上的按钮名称。

key = 'dataproc_batches_list'[源代码]¶

format_str = 'https://console.cloud.google.com/dataproc/batches?project={project_id}'[源代码]¶

static persist(context, operator, project_id)[源代码]¶