香港服务器运行JupyterHub多用户环境,如何估算并发资源并设置用户配额?

发布人:A5数据发布时间:2026-10-21 11:47阅读量:79

香港服务器上运行 JupyterHub,多用户容量不能只按“注册用户数”或“同时打开浏览器的人数”估算。更有参考价值的指标是:同时运行的单用户服务器数量、正在执行代码的 Kernel 数量、每个 Kernel 的内存峰值、数据读写量,以及登录或开课时的瞬时启动请求。

一套可执行的估算方法是,先建立负载画像,再分别计算 CPU、内存、磁盘、网络、连接池和队列的上限,最后取其中最先达到瓶颈的资源作为并发容量。配额则不能只设置内存和 CPU,还应限制磁盘、进程数、连接池以及同时启动的服务器数量,避免少数高负载用户影响整个 JupyterHub 环境。

先区分四种并发

JupyterHub 中的“并发”至少有四种含义,容量规划时不能混为一谈。

并发指标含义主要消耗
登录用户数已通过认证、可能打开页面的用户数量Hub、代理、浏览器连接、少量内存
活跃服务器数已为用户启动的单用户 Jupyter Server 数量每个服务器的基础内存、进程、文件描述符
活跃 Kernel 数正在运行 Python、R 等 Kernel 的数量CPU、内存、进程数、数据读写
重负载任务数正在训练模型、处理大表或执行批量计算的任务数量CPU 峰值、内存峰值、磁盘 I/O、网络带宽

例如,30 名用户同时登录,但只有 8 人启动了 Kernel,服务器压力可能低于 10 名用户同时进行数据分析的情况。反过来,用户即使没有执行代码,单用户服务器和 Kernel 也可能持续占用数百 MiB 内存。

因此,建议至少记录以下几个数量:

  • N_login:已登录用户数;
  • N_server:已启动的单用户服务器数;
  • N_kernel:已启动的 Kernel 数;
  • N_hot:当前正在执行计算的 Kernel 数;
  • N_heavy:使用大内存、长时间占用 CPU 或大量读写数据的任务数。

容量通常由 N_hot 和 N_heavy 决定,内存容量则同时受到 N_server 和 N_kernel 的影响。

JupyterHub 的进程模型如何影响资源

JupyterHub 并不是所有用户共享一个 Python 进程。典型结构包括:

JupyterHub 的进程模型如何影响资源配图

  1. Hub 进程负责认证、用户状态和服务器生命周期管理;
  2. 代理服务负责把浏览器请求转发到对应的单用户服务器;
  3. 每个用户通常拥有一个独立的 Jupyter Server 进程;
  4. 每个用户可以启动一个或多个 Kernel 进程;
  5. 浏览器通过 HTTP 和 WebSocket 与代理、单用户服务器保持通信。

这意味着,用户数增加后,至少会带来以下变化:

  • 单用户服务器进程数量增加;
  • Kernel 进程数量增加;
  • 每个用户的打开文件数和 WebSocket 连接数增加;
  • 每个用户的工作目录、检查点文件和临时文件增加;
  • 使用 Python 科学计算库时,Kernel 进程可能额外创建多个线程。

Python Kernel 本身不一定会使用多个 CPU 核心,但 NumPy、SciPy、PyTorch、XGBoost 或底层 BLAS 库可能开启线程。若 10 个 Kernel 各自开启 8 个计算线程,操作系统看到的线程数量可能远高于 10 个,CPU 调度和上下文切换也会随之增加。

如果业务以交互式分析为主,可考虑把底层数值库的线程数限制在合理范围。例如每个用户最多使用 1~2 个计算线程,避免少量 Kernel 产生线程过量:

export OMP_NUM_THREADS=1
export MKL_NUM_THREADS=1
export OPENBLAS_NUM_THREADS=1

这类限制适合共享型、多用户环境,但不适用于明确需要单用户多核计算的任务。若某些任务需要长时间使用多核 CPU,更适合分配独立的高配额运行环境,而不是与普通交互式 Notebook 共用同一组限制。

将业务负载转换成资源变量

CPU 变量

CPU 估算可以使用下面的关系:

所需 CPU ≈ 系统与基础服务 CPU + 活跃用户数 × 单用户平均 CPU + 峰值余量

单用户平均 CPU 不应直接使用 CPU 限制值。比如给每个用户设置 1 个 vCPU,不代表每个用户始终占用 1 个 vCPU。需要通过监控区分:

  • 空闲 Kernel 的 CPU 使用量;
  • 用户运行普通查询、清洗数据时的平均 CPU;
  • 模型训练或大表处理时的短时峰值;
  • 多个 Kernel 同时执行时的整体 CPU 使用量。

对于交互式分析,单个活跃 Kernel 的平均使用量可能只有 0.1~0.5 个 vCPU,但导入大文件、排序、压缩或训练模型时可能短时使用 1~4 个 vCPU。参考值只能用于初始规划,不能替代实际采样。

内存变量

内存通常是 JupyterHub 多用户环境中最容易先达到瓶颈的资源。可按以下关系估算:

所需内存
≈ 系统与基础服务
+ 活跃服务器数 × 单用户服务器基础内存
+ 活跃 Kernel 数 × Kernel 平均内存
+ 数据缓存与临时内存
+ 峰值余量

一个普通 Python Kernel 在空闲或轻量任务下可能占用约 100~300 MiB,加载 pandas、机器学习库或数据集后,可能增加到 500 MiB~数 GiB。单用户服务器本身还会有额外的基础占用。

实际规划时,可先为每类用户建立估算值:

用户类型单用户基础内存参考Kernel 工作内存参考适合的任务
轻量用户200~400 MiB300~800 MiB教学代码、文本处理、小数据集
普通分析用户300~600 MiB800 MiB~2 GiBpandas、可视化、常规数据清洗
重负载用户500 MiB~1 GiB2~8 GiB 或更高模型训练、大表处理、复杂编译任务

这些数值是容量规划起点。若用户会直接读取数百 MB 或数 GB 的数据,内存占用往往不止文件大小,因为程序可能同时保留原始数据、转换后的副本、索引和中间结果。

磁盘与 I/O 变量

磁盘容量不能只按系统文件和 JupyterHub 程序计算,还应包括:

  • 用户 Notebook 和脚本;
  • .ipynb_checkpoints 检查点;
  • 上传的数据文件;
  • 模型文件和生成结果;
  • Python 包、缓存和临时目录;
  • 共享数据集;
  • 日志、备份和升级时的临时空间。

可使用以下关系:

所需磁盘
≈ 系统空间 + 用户配额总和 + 共享数据集 + 临时空间 + 备份空间

如果 20 个用户每人分配 5 GiB 工作空间,仅用户配额的理论上限就是 100 GiB。若再放置 150 GiB 共享数据集,并为系统和临时文件保留 20%,磁盘规划就不应只购买 250 GB,而应根据实际存储介质的十进制 GB 或二进制 GiB 口径重新换算。

磁盘性能还要看 IOPS 和延迟。多个用户同时打开大型 Notebook、解压数据或写入检查点时,可能先出现磁盘队列上涨,而不是磁盘容量不足。网络盘、共享文件系统或跨地域存储还会引入额外延迟,香港服务器与用户或数据源之间的网络距离也会影响交互体验。

网络带宽变量

Notebook 页面本身的请求通常不大,但以下操作会快速消耗带宽:

  • 上传和下载数据集;
  • 显示大量图片或表格;
  • 通过 WebSocket 持续传输输出;
  • 下载模型文件;
  • 用户从香港服务器访问外部数据源。

如果有 4 名用户同时以每人 5 MB/s 的速度下载数据,带宽需求为:

4 × 5 MB/s × 8 = 160 Mbps

这里的 MB/s 是兆字节每秒,乘以 8 后才转换为 Mbps。如果服务器带宽为 200 Mbps,这种场景已经接近带宽上限,还没有计算其他用户、系统更新和协议开销。

交互式 Notebook 更关注延迟和 WebSocket 稳定性,批量上传下载则更关注吞吐量。香港服务器的带宽规划应同时查看峰值出口速率、用户所在地、数据源所在地和跨地域访问比例,不能只看套餐标称带宽。

A5数据提供面向多用户计算场景的香港物理服务器资源,覆盖Xeon Gold、AMD EPYC等处理器平台,并配套不同容量的内存、SSD或NVMe存储,适合承载JupyterHub中的交互式Notebook、数据处理与多任务运行。香港产品同时提供CN2及国际带宽方案,可结合访问地区、数据规模和并发负载构建相应的计算与网络资源基础;美国、日本、新加坡等地区也提供物理服务器,支持跨地域业务进行节点规划。

用公式估算一台服务器的安全并发

可以先为服务器预留系统和共享服务资源,再计算用户侧的可分配空间。

可分配内存
= 物理内存
- 操作系统与基础服务
- Hub、代理、监控和日志服务
- 安全余量

安全余量通常不应被配额完全吃满。对于负载变化明显的环境,可以先保留总内存的 15%~25%,用于缓存、突发任务和内核回收延迟。

示例:8 vCPU、32 GiB 内存

以下只是容量推演示例,不代表某台香港服务器的实测承载能力。

设定:

用公式估算一台服务器的安全并发配图

  • 服务器:8 vCPU、32 GiB 内存;
  • 操作系统、Hub、代理、监控和日志:预留 6 GiB;
  • 额外安全余量:4 GiB;
  • 普通活跃用户的服务器和 Kernel 合计:约 1.2 GiB;
  • 多用户同时操作时的突发余量:约 4.5 GiB。

可分配给常态用户工作负载的内存约为:

32 GiB - 6 GiB - 4 GiB = 22 GiB

如果同时有 12 个普通活跃用户:

12 × 1.2 GiB + 4.5 GiB = 18.9 GiB

从内存角度看仍有余量。如果增加到 15 个:

15 × 1.2 GiB + 4.5 GiB = 22.5 GiB

此时已经超过按安全余量计算的可分配空间。若其中有几名用户执行模型训练或加载大表,实际瓶颈会更早出现。

CPU 还要单独计算。假设系统和基础服务需要 1.5 个 vCPU,峰值保留 1.5 个 vCPU,普通活跃用户平均使用 0.5 个 vCPU,则:

可供普通用户使用的 CPU = 8 - 1.5 - 1.5 = 5 个 vCPU
普通活跃用户容量 ≈ 5 ÷ 0.5 = 10 人

因此,这个示例环境的规划结果应取内存和 CPU 中较小的一项。可以先把 8~10 名混合负载用户作为较保守的准入范围,再根据连续一到两周的峰值监控调整,而不应直接把“32 GiB ÷ 单用户配额”当作可承载人数。

判断真正的瓶颈在哪里

CPU 使用率高不一定只是用户多

如果 CPU 长时间超过 80%,需要进一步区分:

  • 是多个 Kernel 同时进行计算;
  • 是某个 Kernel 开启了过多底层线程;
  • 是系统在频繁进行压缩、解压或加密;
  • 是磁盘 I/O 等待造成负载值升高;
  • 是容器或 cgroup 触发 CPU throttling。

仅看 load average 不够。应同时观察 CPU 使用率、运行队列、I/O wait、每个用户进程的 CPU 时间和线程数。

内存不足往往先表现为卡顿

内存接近上限时,常见表现包括:

  • Notebook 单元格执行时间明显变长;
  • Kernel 无响应或被系统终止;
  • 服务器出现 swap 使用;
  • 大量页面加载超时;
  • 新用户无法启动单用户服务器;
  • 日志中出现内存不足或 OOM 相关事件。

如果只设置 mem_limit,但没有观察每个用户的实际峰值,可能出现两种问题:配额过低导致正常任务频繁被杀;配额过高导致多个用户同时达到上限时耗尽整机内存。

连接池可能比 CPU 更早达到上限

JupyterHub 环境常见的连接包括:

  • 浏览器到代理的 HTTP 和 WebSocket 连接;
  • Hub 到数据库的连接;
  • Notebook 应用到 PostgreSQL、MySQL、Redis 或其他服务的连接;
  • 用户程序访问外部 API 或数据服务的连接;
  • 文件系统或对象存储连接。

数据库连接可以按以下关系估算:

数据库最大连接数
≥ Hub 连接数
+ 用户应用连接池总和
+ 后台任务连接数
+ 管理与故障余量

例如,10 个活跃 Kernel,每个程序的连接池上限为 5,再加上 Hub 和管理连接约 20 个,总需求约为:

10 × 5 + 20 = 70 个连接

如果数据库只允许 80 个连接,实际只剩 10 个连接给维护、迁移和其他任务,容量余量很小。连接池不应无限扩大,达到上限后应进入有界等待队列,并设置合理的超时时间。否则,数据库连接数会随着用户数同步增长,最终把数据库而不是 JupyterHub 主机压垮。

队列长度反映瞬时峰值

多用户环境常见的队列包括:

判断真正的瓶颈在哪里配图

  • 用户批量登录时的服务器启动队列;
  • Kernel 等待执行的任务队列;
  • 数据库连接池等待队列;
  • 磁盘 I/O 队列;
  • CPU 运行队列;
  • 共享存储或对象存储的请求队列。

登录高峰并不一定要求服务器永久扩容。如果只是开课或培训开始时的短时启动峰值,可以设置并发启动上限,让用户在队列中等待,避免几十个单用户服务器同时创建、安装依赖和初始化 Kernel。

JupyterHub 可以通过并发启动和活跃服务器限制控制启动洪峰。示例配置如下:

# jupyterhub_config.py,示例值
c.JupyterHub.concurrent_spawn_limit = 4
c.JupyterHub.active_server_limit = 20

具体配置项和限制行为应以当前 JupyterHub 版本及所使用的 Spawner 实现为准。启动队列适合处理短时突发,不适合掩盖持续数小时的 CPU、内存或磁盘不足。

如何设置用户资源配额

CPU 与内存配额应同时设置保证值和上限

在支持 cgroups 的 DockerSpawner、KubeSpawner 或其他容器化 Spawner 中,可以区分:

  • cpu_guarantee:为用户保留的基础 CPU;
  • cpu_limit:用户允许使用的 CPU 上限;
  • mem_guarantee:用户的基础内存保障;
  • mem_limit:用户的硬内存上限。

示例:

# jupyterhub_config.py,示例值
c.Spawner.cpu_guarantee = 0.25
c.Spawner.cpu_limit = 1.0

c.Spawner.mem_guarantee = "512M"
c.Spawner.mem_limit = "2G"

这组数值表示普通用户有一定基础资源,同时不能无限占用整机资源。它不是通用标准,仍需结合用户程序的内存峰值调整。

对于一台 32 GiB 内存的主机,如果 20 个用户都设置 2 GiB 上限,理论硬上限就是 40 GiB,还没有计算系统、Hub 和缓存。这样的配置只有在能够确认“不会有 20 个用户同时达到上限”,并且存在启动排队或更严格准入控制时才可能成立。若无法确认,应降低并发启动数量,或让硬上限总和不超过可分配资源。

在不支持资源隔离的本地进程模式下,mem_limit 和 cpu_limit 可能不能真正限制用户进程。此时应通过容器、systemd slice 或其他 cgroup 机制实现隔离,并验证限制是否生效,不能仅因为配置文件接受了参数就认为配额已经执行。

根据用户类型设置不同配额

所有用户使用同一配额,通常会导致轻量用户资源浪费,或者重负载用户频繁触顶。可以按用途设置不同 Profile:

用户类型CPU 保证值CPU 上限内存保证值内存上限
教学或轻量分析0.1~0.25 vCPU0.5 vCPU256~512 MiB1 GiB
普通数据分析0.25~0.5 vCPU1 vCPU512 MiB~1 GiB2 GiB
模型或大数据任务0.5~1 vCPU2~4 vCPU1~2 GiB4~8 GiB

重负载 Profile 不应与普通用户完全共享同一准入规则。可以限制其同时使用人数,或者把这类任务调度到单独的计算节点,避免少量用户占满整台香港服务器。

磁盘、进程和连接也要设置边界

CPU 和内存配额不能替代其他资源限制,还应考虑:

  • 每个用户的工作目录配额;
  • 临时目录配额;
  • 文件数量和 inode 数量;
  • 进程数和线程数;
  • 打开的文件描述符数量;
  • 单个用户的数据库连接池上限;
  • 单个用户同时运行的 Kernel 数;
  • 单个用户上传和下载的并发数。

用户磁盘配额应通过文件系统原生配额、容器卷配额或独立存储策略实现。JupyterHub 的内存配额不会自动限制用户写满磁盘。建议在达到 70%~80% 使用量时提示用户,达到硬上限前保留日志和清理空间,避免用户在保存 Notebook 时突然收到磁盘不足错误。

如果用户可以启动多个 Kernel,还应将“每个用户的 Kernel 数量”纳入配额。一个用户启动 5 个 Kernel,即使每个 Kernel 都没有执行代码,也可能带来明显的内存和进程开销。

何时应该纵向扩容,何时应该拆分节点

当瓶颈集中在单一资源时,可以优先纵向扩容:

  • CPU 长时间不足,内存和磁盘仍有余量:增加 vCPU;
  • 内存频繁触顶或发生 OOM:增加内存,并重新检查单用户上限;
  • 磁盘容量不足:增加存储或迁移用户工作目录;
  • I/O 延迟高但容量足够:更换更适合随机读写的存储;
  • 网络出口持续接近上限:升级带宽或把大数据访问迁移到更接近用户和服务器的位置。

当问题来自用户之间的干扰,则更适合拆分节点:

  • 普通 Notebook 与模型训练互相抢占 CPU;
  • 大量用户同时启动时 Hub 节点响应变慢;
  • 共享存储成为所有用户的共同瓶颈;
  • 数据库连接池无法随着用户数安全增加;
  • 需要不同用户组使用不同镜像、依赖或安全边界。

可以把 Hub、代理、交互式计算和批处理任务分开。交互式 Notebook 需要快速响应,批处理任务则可以进入队列,两者不应无限制地争抢同一组 CPU 和内存。

用监控数据确定容量余量

至少应同时监控主机、JupyterHub、用户进程、数据库和存储,而不是只看服务器总 CPU。

主机与 cgroup 指标

可以使用以下只读命令进行初步观察:

free -h
vmstat 1
df -h
df -ih
ss -s

重点关注:

  • CPU 使用率、运行队列和 I/O wait;
  • 内存工作集、swap、内存压力和 OOM 事件;
  • 每个用户 cgroup 的 memory.current、CPU 使用量和 throttling;
  • 磁盘使用率、I/O 等待、平均延迟和 inode;
  • 打开文件数、进程数和 WebSocket 连接数;
  • 网卡入口、出口及带宽峰值。

JupyterHub 与应用指标

建议记录以下时间序列:

  • 登录用户数、活跃服务器数、活跃 Kernel 数;
  • 服务器启动成功率和启动耗时的 p50、p95;
  • Kernel 启动失败数;
  • 页面请求错误率和 WebSocket 断开率;
  • 单用户服务器的内存峰值和 CPU 峰值;
  • 用户磁盘使用量及增长速度;
  • 数据库连接池使用率和等待时间;
  • 共享存储的请求延迟和队列长度。

如果启动耗时只有在开课前几分钟显著升高,可能是启动并发过大;如果整个工作日都在升高,则更可能是资源容量不足或启动流程本身过重。

建立扩容阈值

阈值不应直接照搬其他环境,而应结合业务可接受的等待时间和错误率确定。可以使用以下方法:

  1. 连续采集至少一个完整业务周期,覆盖普通时段、业务高峰和数据处理高峰;
  2. 找出 CPU、内存、磁盘、网络、连接池和启动队列各自的峰值;
  3. 为每项资源设置预警线和扩容线;
  4. 将“安全并发”定义为所有关键资源都低于扩容线时的活跃用户数;
  5. 用增长率预测未来一到三个业务周期的需求。

一个可作为初始检查的参考范围如下:

用监控数据确定容量余量配图

指标预警参考扩容或拆分参考
CPU 持续使用率70%~75%80%~85% 以上
内存工作集70%~80%85%~90% 或出现 OOM
swap 或内存压力开始持续增长影响 Kernel 响应或启动
磁盘容量70%~80%85% 以上
inode 使用率70%~80%85% 以上
数据库连接池70%~80%等待时间持续增加
网络出口70%~80%接近端口上限并影响传输
启动队列偶发短时等待p95 持续超过业务可接受时间

这些数值属于规划参考,不是所有业务的固定标准。例如,允许用户等待 3 分钟启动服务器的教学环境,与要求 20 秒内完成启动的生产分析平台,扩容阈值就不应相同。

如果当前每月活跃计算用户增长率为 g,可以用下面的关系估算未来需求:

未来活跃用户数 = 当前活跃用户数 × (1 + g)^月份数

例如当前高峰有 10 个活跃用户,月增长率按 15% 估算,三个月后的需求约为:

10 × 1.15^3 ≈ 15.2

如果当前服务器经过安全余量计算,只能稳定接纳 12 个混合负载用户,那么不应等到第 15 个用户出现后才扩容。更合理的做法是在预测值达到安全容量的 70%~80%,或连续多个高峰时段触发资源评审。

最终的扩容判断应同时满足两个条件:一是资源利用率或队列已经持续超过预警范围,二是按实际增长率预测后,未来业务周期会超过安全容量。这样可以避免仅因一次短时峰值盲目升级,也能在香港服务器上的 JupyterHub 用户数和数据量持续增长前留出迁移和测试时间。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4941.html

相关推荐