`airflow.providers.papermill.hooks.kernel`¶

模块内容¶

类¶

`KernelConnection`	表示内核连接对象的类。
`KernelHook`	KernelHook 可用于与远程 Jupyter 内核交互。
`RemoteKernelManager`	连接到远程内核的 Jupyter 内核管理器。
`RemoteKernelEngine`	Papermill 引擎，使用 `RemoteKernelManager` 连接到远程内核并执行 notebook。

函数¶

register_remote_kernel_engine()

注册 RemoteKernelEngine Papermill 引擎。

属性¶

`JUPYTER_KERNEL_SHELL_PORT`
`JUPYTER_KERNEL_IOPUB_PORT`
`JUPYTER_KERNEL_STDIN_PORT`
`JUPYTER_KERNEL_CONTROL_PORT`
`JUPYTER_KERNEL_HB_PORT`
`REMOTE_KERNEL_ENGINE`

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_SHELL_PORT = 60316[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_IOPUB_PORT = 60317[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_STDIN_PORT = 60318[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_CONTROL_PORT = 60319[source]¶

airflow.providers.papermill.hooks.kernel.JUPYTER_KERNEL_HB_PORT = 60320[source]¶

airflow.providers.papermill.hooks.kernel.REMOTE_KERNEL_ENGINE = 'remote_kernel_engine'[source]¶

class airflow.providers.papermill.hooks.kernel.KernelConnection[source]¶

表示内核连接对象的类。

ip: str[source]¶

shell_port: int[source]¶

iopub_port: int[source]¶

stdin_port: int[source]¶

control_port: int[source]¶

hb_port: int[source]¶

session_key: str[source]¶

class airflow.providers.papermill.hooks.kernel.KernelHook(kernel_conn_id=default_conn_name, *args, **kwargs)[source]¶

基类：airflow.hooks.base.BaseHook

KernelHook 可用于与远程 Jupyter 内核交互。

从连接中获取内核主机/IP，并引用 Jupyter 内核端口和 extra 字段中的 session_key。: 从 extra 字段。

参数: kernel_conn_id (str) – 具有内核主机/IP 的连接

conn_name_attr = 'kernel_conn_id'[source]¶

default_conn_name = 'jupyter_kernel_default'[source]¶

conn_type = 'jupyter_kernel'[source]¶

hook_name = 'Jupyter Kernel'[source]¶

get_conn()[source]¶

返回钩子的连接。

airflow.providers.papermill.hooks.kernel.register_remote_kernel_engine()[source]¶: 注册 RemoteKernelEngine Papermill 引擎。

class airflow.providers.papermill.hooks.kernel.RemoteKernelManager(*args, **kwargs)[source]¶

基类：jupyter_client.AsyncKernelManager

连接到远程内核的 Jupyter 内核管理器。

属性 has_kernel: bool[源代码]¶

是否已启动一个我们正在积极管理的内核进程。

session_key[源代码]¶

shutdown_kernel(now=False, restart=False)[源代码]¶

client(**kwargs)[源代码]¶

创建一个配置为连接到我们内核的客户端。

类 airflow.providers.papermill.hooks.kernel.RemoteKernelEngine[源代码]¶

基类: papermill.engines.NBClientEngine

Papermill 引擎，使用 RemoteKernelManager 连接到远程内核并执行 notebook。

类方法 execute_managed_notebook(nb_man, kernel_name, log_output=False, stdout_file=None, stderr_file=None, start_timeout=60, execution_timeout=None, **kwargs)[源代码]¶: 执行本地参数化笔记本的实际操作。

airflow.providers.papermill.hooks.kernel¶

模块内容¶

类¶

函数¶

属性¶

`airflow.providers.papermill.hooks.kernel`¶