美国GPU服务器运行Ollama,显存与系统内存怎样按模型规模规划?

发布人:A5数据发布时间:2026-10-23 11:16阅读量:249

美国GPU服务器运行 Ollama 时,显存规划应围绕“模型权重、上下文长度和并发会话”展开,而不是只看模型标注的 7B、14B 或 70B。系统内存则要覆盖模型加载过程、CPU 侧卸载部分、运行时缓冲、多个模型并存以及操作系统和业务程序的开销。以常见量化模型为例,7B/8B 模型通常适合 16~24GB 显存和 32GB 系统内存起步;14B 模型更适合 24GB 显存、64GB 内存;32B 模型建议考虑 48GB 显存和 128GB 内存;70B 模型则通常需要 48~80GB 以上显存,并配备 128~256GB 系统内存。

根据全文核心主题形成自然、专业、克制的技术文章主题场景

如果是美国节点上的低并发交互问答,优先保证显存余量和访问延迟;如果是知识库问答、长上下文或批量推理,则需要同时增加显存、系统内存、NVMe 磁盘和 CPU。显存不足时,Ollama 可能将部分模型层放到 CPU 内存中,但这通常会牺牲生成速度,不能把“能够启动”当成“适合生产”。

先按业务动作定义负载

同一个模型,在不同业务中的资源压力差异很大。一个内部员工偶尔调用的 14B 模型,与面向客户、同时处理几十个会话的 14B 模型,所需的GPU服务器并不相同。

规划美国GPU服务器时,建议先记录以下业务条件:

  • 同时在线请求数和真正同时生成的请求数;
  • 单次输入长度、输出长度和最大上下文窗口;
  • 是否需要保留多轮聊天记录;
  • 是否接入本地知识库、文档解析或检索增强;
  • 是否同时加载对话模型、嵌入模型、重排序模型;
  • 是追求单请求响应速度,还是追求批量任务吞吐;
  • 模型切换频率,以及是否需要多个模型常驻;
  • 调用方主要位于美国、欧洲还是亚洲,是否存在跨区域传输。

交互式问答

客服、内部助手和产品咨询通常表现为少量长连接、短到中等长度的上下文,以及较高的首字响应敏感度。此类业务更关注:

  • 显存是否能够完整容纳模型和活动会话的 KV Cache;
  • 并发请求增加时,生成速度是否明显下降;
  • CPU 是否能及时完成分词、请求调度和结果流式输出;
  • 美国节点到主要访问用户的往返延迟是否可接受。

如果只有 5~10 个同时生成的会话,7B/8B 或 14B 量化模型通常比盲目部署更大模型更容易获得稳定体验。若并发提升到 20~50 个,则需要重新计算 KV Cache,不能只按模型文件大小购买显卡。

RAG知识库问答

知识库问答的输入通常比普通聊天更长。一次请求可能包含用户问题、检索结果、文档片段、历史消息和系统提示词,因此上下文窗口会快速放大显存占用。

此时资源重点通常是:

  • 显存:模型权重、KV Cache和并发会话;
  • 系统内存:文档处理、分词、向量索引、CPU卸载;
  • NVMe:模型文件、文档缓存、向量数据库和日志;
  • CPU:检索、重排序、文档切片以及多个请求的预处理。

如果模型本身只占用 12GB 显存,但每个请求都携带 16K 或 32K 上下文,实际运行可能仍然需要更大的显存。长上下文和高并发往往比模型参数量增加更快地消耗显存。

批量提取和离线生成

合同摘要、商品描述生成、日志分类、结构化信息提取等任务通常允许排队处理,对首字延迟不敏感,但要求单位时间内处理更多数据。

这类负载可以采用:

  • 较大的模型和较高量化精度;
  • 多个GPU副本并行处理;
  • 更高的 CPU 核数以支撑数据读取和预处理;
  • 大容量 NVMe 保存输入文件、结果和中间缓存;
  • 任务队列限制并发,避免一次性把显存和系统内存耗尽。

如果任务是稳定批处理,不一定需要让所有请求同时运行。控制并发、提高单批次利用率,有时比直接增加显卡数量更经济。

显存:模型文件大小只是起点

按量化精度估算模型权重

模型权重可以先用下面的方式做粗略估算:

权重容量约等于参数量 × 量化位数 ÷ 8

这里的参数量以十亿参数为单位,计算结果接近十进制 GB,实际模型文件还会包含元数据、张量对齐和运行时开销。

模型规模Q4理论权重容量常见文件容量参考Q8理论权重容量显存规划建议
7B/8B约3.5~4GB约4~6GB约7~9GB8GB可运行短上下文,12~16GB更宽裕
14B约7GB约8~10GB约14~16GB16GB偏紧,24GB更适合生产
32B约16GB约18~22GB约32~36GB24GB可能需要卸载,48GB更稳妥
70B约35GB约38~45GB约70GB以上48GB适合部分场景,80GB级别更有余量

表中的容量是规划区间,不代表某个具体模型的官方文件大小。不同模型架构、量化工具和文件格式会产生差异。选择美国GPU服务器时,应以准备部署的实际模型文件容量为准,而不是只根据模型名称判断。

显存的最低需求可以按以下思路计算:

所需显存 ≈ 模型权重 + KV Cache + 运行时缓冲 + 余量

运行时缓冲与显卡后端、模型格式、上下文设置和 Ollama 版本有关。实际规划中,建议在模型权重和 KV Cache 之外保留约 15%~30%的显存余量,并为系统中可能同时运行的嵌入模型或重排序模型留出空间。

上下文和并发如何消耗显存

KV Cache用于保存当前会话已经处理过的上下文。上下文越长,同时生成的会话越多,KV Cache就越大。

一个便于理解的估算公式是:

KV Cache容量 ≈ 2 × 层数 × KV头数 × 每头维度 × 上下文Token数 × 每个元素字节数 × 并发会话数

实际结果会受到模型架构、KV头设计、缓存精度和后端实现影响。下面给出一个近似示例,用于说明量级,而不是作为所有模型的固定值:

场景8B级模型,8K上下文70B级模型,8K上下文对显存的影响
单个会话约1GB上下约2~3GB上下可以由较小显卡承载
4个并发会话约4GB上下约8~12GB上下模型权重之外需要明显余量
8个并发会话约8GB上下约16~24GB上下容易挤压模型和运行时空间
16K上下文约为8K的两倍约为8K的两倍长文档业务需要重新选卡

如果启用了 KV Cache 量化,容量可能下降,但精度和速度表现要通过实际模型验证。不能简单地认为“4K上下文占用一半显存”,因为运行时还存在固定缓冲和不同组件的额外占用。

系统内存并非显存的替代品

即使模型主要放在GPU上,系统内存仍然需要承担以下任务:

  • Ollama和模型加载过程中的主机侧缓冲;
  • 未放入显存的模型层;
  • CPU分词、请求队列和结果处理;
  • 文档解析、向量索引和数据库缓存;
  • 多个模型文件的缓存;
  • 操作系统、监控、日志和业务服务。

当显存不足时,部分模型层可能被放到系统内存中。这样做能够降低显存门槛,但每次推理需要在 CPU 与 GPU 之间传输更多数据,通常会增加首字延迟并降低生成速度。对于需要稳定响应的在线服务,不建议把系统内存当作显存的等价替代。

一个实用的系统内存参考如下:

部署规模系统内存起步值更适合的内存典型用途
7B/8B单模型16GB32GB低并发聊天、简单文本处理
14B单模型32GB64GBRAG问答、中等并发
32B单模型64GB128GB长上下文、批处理、较复杂知识库
70B单模型128GB256GB大模型推理、多会话或部分卸载
多模型常驻在上述基础上增加32~128GB取决于模型数量对话、嵌入和重排序同时运行

如果准备同时加载两个 14B 模型,不能只按单个 14B 的内存规划。系统还要承担模型切换、缓存和业务进程的额外开销。对于频繁切换模型的场景,增加内存和NVMe容量通常比单纯提升CPU主频更有效。

CPU、磁盘和网络如何配合

CPU:决定预处理、调度和卸载效率

GPU负责主要矩阵计算,但 Ollama 服务仍然需要CPU完成HTTP请求、分词、提示词拼接、采样、日志和模型加载。

参考范围可以按以下方式设置:

  • 7B/8B低并发:8~12个 vCPU;
  • 14B在线服务:12~16个 vCPU;
  • 32B长上下文或多请求:16~24个 vCPU;
  • 70B、多GPU或批处理:24~32个 vCPU,必要时继续增加。

这些数值不是吞吐保证。CPU需求与请求长度、并发量、是否接入检索服务以及是否发生CPU卸载有关。

选择双GPU或多GPU服务器时,还要核对:

  • CPU是否拥有足够的PCIe通道;
  • 两张显卡是否连接在合适的PCIe插槽;
  • NUMA拓扑是否会造成跨节点访问;
  • 电源和散热是否支持持续满载;
  • GPU之间是否需要高速互联;
  • Ollama和底层推理后端是否能按预期拆分模型。

两张24GB显卡并不一定等价于一张48GB显卡。多GPU可以用于模型拆分,也可以用于运行多个模型副本。前者受到通信和后端兼容性影响,后者更适合增加并发,但单个模型仍可能无法使用两张显卡的总显存。

磁盘:重点关注模型数量和切换频率

Ollama模型文件通常需要保存在本地或高速存储上。规划磁盘时,应计算:

模型存储需求 ≈ 所有模型文件总容量 × 1.3~1.5 + 操作系统和日志空间 + 业务数据空间

例如,准备同时保留一个 8B Q4、一个 14B Q4、一个 32B Q4和一个 70B Q4模型,模型文件可能达到约 70~85GB;如果还要保存不同量化版本、旧版本和嵌入模型,实际占用会继续增加。此类部署不宜只购买刚好够用的系统盘,1TB NVMe通常更便于管理,具体容量仍应按模型数量和数据保留周期核算。

磁盘选择重点包括:

  • 优先选择本地NVMe,而不是低速网络盘;
  • 模型盘与系统盘分离,减少日志和系统更新对模型加载的影响;
  • 为模型更新、临时文件和旧版本保留空间;
  • 知识库文档和向量数据库较大时,单独规划数据盘;
  • 关注持续读吞吐和随机读延迟,而不只看标称容量。

如果业务经常在多个模型之间切换,磁盘读取和内存缓存会直接影响首个请求的等待时间。对于长期常驻的核心模型,应优先让其保持加载状态,而不是依靠频繁从磁盘重新读取。

网络:美国节点要区分访问流量与模型传输

美国GPU服务器的网络规划需要区分三类流量:

  1. 用户请求与模型返回结果;
  2. 模型文件下载、更新和备份;
  3. 知识库、对象存储、数据库或业务系统之间的数据交换。

在线文本生成的请求体通常不大,1Gbps网络在低到中等并发下可能已经足够;但模型下载和远程数据读取对带宽更敏感。以一个40GB模型文件为例,按十进制GB和网络Gbps计算:

  • 1Gbps理论时间:40 × 8 × 1000 ÷ 1000 = 320秒,约5分20秒;
  • 10Gbps理论时间:40 × 8 × 1000 ÷ 10000 = 32秒。

实际还会受到协议、远端存储、磁盘写入和网络拥塞影响,通常会比理论值更长。

如果访问方主要在北美,美国节点可以减少跨洲往返;如果访问方在亚洲或欧洲,则应以实际用户分布、应用层延迟和数据合规要求选择区域。地域不会改变模型的显存需求,但会影响首字延迟、数据传输成本和故障切换设计。

面向在美国部署 Ollama 的推理与模型测试,A5数据提供可选 A100 80GB、RTX 4090 等显卡的美国 GPU 服务器,搭配服务器 CPU、内存和 NVMe 存储资源,为模型运行提供硬件基础。其美国 GPU 产品还提供 1Gbps 三网直连回国或 3Gbps 国际带宽方案,可满足不同用户分布下的服务访问与模型数据传输需求。

按模型规模选择参考配置

下面的配置用于建立选型基线,不代表 Ollama 对某一具体服务器型号的承载保证。实际容量仍需使用目标模型、目标上下文和目标并发进行验收。

业务级别GPU显存参考系统内存CPU参考NVMe参考适合场景
入门交互12~16GB32GB8~12 vCPU500GB~1TB7B/8B Q4、少量并发
中等在线服务24GB64GB12~16 vCPU1TB7B/8B高并发、14B Q4、RAG
长上下文或复杂RAG48GB128GB16~24 vCPU1~2TB14B/32B、8K~32K上下文
大模型单实例48~80GB128~256GB24~32 vCPU2TB左右32B高精度或70B Q4
多模型或高并发多张24GB、48GB或80GB卡128~256GB以上24~48 vCPU2TB以上模型副本、批处理、混合业务

7B/8B:适合把预算放在并发和响应上

7B/8B Q4模型的权重通常可以放入12~16GB显存。若上下文较短、并发不高,8GB显存也可能启动,但剩余空间有限,不适合作为长期在线服务的默认配置。

更实用的方案是:

  • 12~16GB显存;
  • 32GB系统内存;
  • 8~12个 vCPU;
  • 500GB~1TB NVMe。

如果需要同时运行嵌入模型、重排序模型或较长上下文,24GB显存会比8GB或12GB更容易保留余量。

14B:24GB显存通常是更均衡的起点

14B Q4模型的权重通常接近10GB,理论上可以在16GB显卡上运行,但上下文、并发和运行时缓冲会迅速消耗剩余空间。对于RAG或多轮对话,24GB显存更适合作为起步配置。

建议关注:

  • 24GB显存,必要时选择48GB;
  • 64GB系统内存;
  • 12~16个 vCPU;
  • 1TB本地NVMe;
  • 10Gbps网络仅在需要快速拉取模型、访问远端数据或多个业务共享时更有价值。

32B:不要只看模型文件能否放入显存

32B Q4模型文件可能在18~22GB左右,24GB显卡看似能够容纳,但留给KV Cache和运行时缓冲的空间不多。低并发、短上下文可以尝试24GB显卡;如果是在线RAG、较长上下文或多个会话同时生成,48GB显存更合理。

系统内存建议从64GB起步,知识库较大或存在CPU卸载时提高到128GB。此时CPU、PCIe拓扑和散热也需要同步检查,避免只升级显卡而让数据预处理或模型装载成为新的瓶颈。

70B:先确定是单实例还是多副本

70B Q4模型的文件通常接近40GB以上。48GB显存可能足以运行短上下文、低并发配置,但如果需要较长上下文、多会话或更高量化精度,80GB级别显卡会更有余量。

70B场景建议:

  • 128GB系统内存作为起点,复杂业务考虑256GB;
  • 24~32个 vCPU;
  • 1~2TB高速NVMe;
  • 48GB或80GB以上显存,按量化版本和并发核算;
  • 多GPU时明确采用模型拆分还是多副本。

如果目标是让多个用户同时访问70B模型,增加单卡显存只能解决单实例容量问题,不能自动线性提升并发。此时需要比较多GPU模型拆分、多个模型副本和请求排队三种方案的实际成本。

交付前需要验证哪些指标

产品交付或购买前,应使用与实际业务接近的模型文件、提示词长度和并发量测试,而不是只执行一次单请求推理。建议至少记录以下指标:

  • 首字延迟;
  • 完整响应耗时;
  • 输入和输出Token数量;
  • 生成速度;
  • 并发增加后的P95延迟;
  • GPU显存使用量和GPU利用率;
  • 系统内存使用量、Swap活动和CPU占用;
  • 模型加载时间;
  • 磁盘读取延迟;
  • 网络吞吐和错误率。

Linux服务器上可以用以下命令进行基础核对:

nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free,utilization.gpu --format=csv
free -h
df -h
lsblk

如果已经安装并运行 Ollama,可以查看当前模型进程和占用情况:

ollama list
ollama ps

持续观察磁盘和CPU等待情况时,可以使用:

iostat -xz 1

ollama ps显示的处理位置、显存使用和模型状态应与预期一致。如果模型实际大量落在CPU侧,虽然请求能够返回,也应重新评估显卡容量、上下文长度或量化方案。

按瓶颈触发升级,而不是直接堆配置

出现以下情况时,可以针对性升级:

  • 显存频繁接近满载或出现内存不足:先检查上下文长度、并发会话和是否同时加载多个模型;确认业务需求后,再增加显存、降低量化精度或减少单实例并发。
  • 显存占用不高但生成速度慢:检查是否发生CPU卸载、CPU利用率是否过高,以及模型是否受到PCIe或多GPU通信影响。
  • 系统内存持续超过约80%,出现Swap或加载延迟:增加内存,或减少常驻模型和文档缓存;不建议把Swap作为正常推理内存。
  • GPU利用率较低、CPU利用率较高:优先检查分词、检索、重排序、请求排队和数据预处理,不一定需要更换GPU。
  • 模型切换时间过长:增加NVMe性能和容量,减少频繁卸载,或让高频模型常驻内存。
  • 网络持续高占用、跨区域请求延迟明显:核对调用方分布、回源数据位置和传输方向,再考虑升级带宽或调整美国节点区域。
  • GPU利用率长期较高且P95延迟超过业务目标:比较增加GPU副本、降低并发、缩短上下文和更换量化版本的效果。

最终配置应由业务指标反推:先确定模型规模、上下文、并发和响应目标,再计算显存与系统内存;磁盘根据模型数量和数据保留周期确定,网络根据用户位置和数据交换量确定。只有当监控显示对应资源已经成为瓶颈时,才升级相应部件,避免把预算集中在用不上的显存或CPU上。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5308.html

相关推荐