美国GPU服务器运行Ollama,显存与系统内存怎样按模型规模规划?
美国GPU服务器运行 Ollama 时,显存规划应围绕“模型权重、上下文长度和并发会话”展开,而不是只看模型标注的 7B、14B 或 70B。系统内存则要覆盖模型加载过程、CPU 侧卸载部分、运行时缓冲、多个模型并存以及操作系统和业务程序的开销。以常见量化模型为例,7B/8B 模型通常适合 16~24GB 显存和 32GB 系统内存起步;14B 模型更适合 24GB 显存、64GB 内存;32B 模型建议考虑 48GB 显存和 128GB 内存;70B 模型则通常需要 48~80GB 以上显存,并配备 128~256GB 系统内存。

如果是美国节点上的低并发交互问答,优先保证显存余量和访问延迟;如果是知识库问答、长上下文或批量推理,则需要同时增加显存、系统内存、NVMe 磁盘和 CPU。显存不足时,Ollama 可能将部分模型层放到 CPU 内存中,但这通常会牺牲生成速度,不能把“能够启动”当成“适合生产”。
先按业务动作定义负载
同一个模型,在不同业务中的资源压力差异很大。一个内部员工偶尔调用的 14B 模型,与面向客户、同时处理几十个会话的 14B 模型,所需的GPU服务器并不相同。
规划美国GPU服务器时,建议先记录以下业务条件:
- 同时在线请求数和真正同时生成的请求数;
- 单次输入长度、输出长度和最大上下文窗口;
- 是否需要保留多轮聊天记录;
- 是否接入本地知识库、文档解析或检索增强;
- 是否同时加载对话模型、嵌入模型、重排序模型;
- 是追求单请求响应速度,还是追求批量任务吞吐;
- 模型切换频率,以及是否需要多个模型常驻;
- 调用方主要位于美国、欧洲还是亚洲,是否存在跨区域传输。
交互式问答
客服、内部助手和产品咨询通常表现为少量长连接、短到中等长度的上下文,以及较高的首字响应敏感度。此类业务更关注:
- 显存是否能够完整容纳模型和活动会话的 KV Cache;
- 并发请求增加时,生成速度是否明显下降;
- CPU 是否能及时完成分词、请求调度和结果流式输出;
- 美国节点到主要访问用户的往返延迟是否可接受。
如果只有 5~10 个同时生成的会话,7B/8B 或 14B 量化模型通常比盲目部署更大模型更容易获得稳定体验。若并发提升到 20~50 个,则需要重新计算 KV Cache,不能只按模型文件大小购买显卡。
RAG知识库问答
知识库问答的输入通常比普通聊天更长。一次请求可能包含用户问题、检索结果、文档片段、历史消息和系统提示词,因此上下文窗口会快速放大显存占用。
此时资源重点通常是:
- 显存:模型权重、KV Cache和并发会话;
- 系统内存:文档处理、分词、向量索引、CPU卸载;
- NVMe:模型文件、文档缓存、向量数据库和日志;
- CPU:检索、重排序、文档切片以及多个请求的预处理。
如果模型本身只占用 12GB 显存,但每个请求都携带 16K 或 32K 上下文,实际运行可能仍然需要更大的显存。长上下文和高并发往往比模型参数量增加更快地消耗显存。
批量提取和离线生成
合同摘要、商品描述生成、日志分类、结构化信息提取等任务通常允许排队处理,对首字延迟不敏感,但要求单位时间内处理更多数据。
这类负载可以采用:
- 较大的模型和较高量化精度;
- 多个GPU副本并行处理;
- 更高的 CPU 核数以支撑数据读取和预处理;
- 大容量 NVMe 保存输入文件、结果和中间缓存;
- 任务队列限制并发,避免一次性把显存和系统内存耗尽。
如果任务是稳定批处理,不一定需要让所有请求同时运行。控制并发、提高单批次利用率,有时比直接增加显卡数量更经济。
显存:模型文件大小只是起点
按量化精度估算模型权重
模型权重可以先用下面的方式做粗略估算:
权重容量约等于参数量 × 量化位数 ÷ 8
这里的参数量以十亿参数为单位,计算结果接近十进制 GB,实际模型文件还会包含元数据、张量对齐和运行时开销。
| 模型规模 | Q4理论权重容量 | 常见文件容量参考 | Q8理论权重容量 | 显存规划建议 |
|---|---|---|---|---|
| 7B/8B | 约3.5~4GB | 约4~6GB | 约7~9GB | 8GB可运行短上下文,12~16GB更宽裕 |
| 14B | 约7GB | 约8~10GB | 约14~16GB | 16GB偏紧,24GB更适合生产 |
| 32B | 约16GB | 约18~22GB | 约32~36GB | 24GB可能需要卸载,48GB更稳妥 |
| 70B | 约35GB | 约38~45GB | 约70GB以上 | 48GB适合部分场景,80GB级别更有余量 |
表中的容量是规划区间,不代表某个具体模型的官方文件大小。不同模型架构、量化工具和文件格式会产生差异。选择美国GPU服务器时,应以准备部署的实际模型文件容量为准,而不是只根据模型名称判断。
显存的最低需求可以按以下思路计算:
所需显存 ≈ 模型权重 + KV Cache + 运行时缓冲 + 余量
运行时缓冲与显卡后端、模型格式、上下文设置和 Ollama 版本有关。实际规划中,建议在模型权重和 KV Cache 之外保留约 15%~30%的显存余量,并为系统中可能同时运行的嵌入模型或重排序模型留出空间。
上下文和并发如何消耗显存
KV Cache用于保存当前会话已经处理过的上下文。上下文越长,同时生成的会话越多,KV Cache就越大。
一个便于理解的估算公式是:
KV Cache容量 ≈ 2 × 层数 × KV头数 × 每头维度 × 上下文Token数 × 每个元素字节数 × 并发会话数
实际结果会受到模型架构、KV头设计、缓存精度和后端实现影响。下面给出一个近似示例,用于说明量级,而不是作为所有模型的固定值:
| 场景 | 8B级模型,8K上下文 | 70B级模型,8K上下文 | 对显存的影响 |
|---|---|---|---|
| 单个会话 | 约1GB上下 | 约2~3GB上下 | 可以由较小显卡承载 |
| 4个并发会话 | 约4GB上下 | 约8~12GB上下 | 模型权重之外需要明显余量 |
| 8个并发会话 | 约8GB上下 | 约16~24GB上下 | 容易挤压模型和运行时空间 |
| 16K上下文 | 约为8K的两倍 | 约为8K的两倍 | 长文档业务需要重新选卡 |
如果启用了 KV Cache 量化,容量可能下降,但精度和速度表现要通过实际模型验证。不能简单地认为“4K上下文占用一半显存”,因为运行时还存在固定缓冲和不同组件的额外占用。
系统内存并非显存的替代品
即使模型主要放在GPU上,系统内存仍然需要承担以下任务:
- Ollama和模型加载过程中的主机侧缓冲;
- 未放入显存的模型层;
- CPU分词、请求队列和结果处理;
- 文档解析、向量索引和数据库缓存;
- 多个模型文件的缓存;
- 操作系统、监控、日志和业务服务。
当显存不足时,部分模型层可能被放到系统内存中。这样做能够降低显存门槛,但每次推理需要在 CPU 与 GPU 之间传输更多数据,通常会增加首字延迟并降低生成速度。对于需要稳定响应的在线服务,不建议把系统内存当作显存的等价替代。
一个实用的系统内存参考如下:
| 部署规模 | 系统内存起步值 | 更适合的内存 | 典型用途 |
|---|---|---|---|
| 7B/8B单模型 | 16GB | 32GB | 低并发聊天、简单文本处理 |
| 14B单模型 | 32GB | 64GB | RAG问答、中等并发 |
| 32B单模型 | 64GB | 128GB | 长上下文、批处理、较复杂知识库 |
| 70B单模型 | 128GB | 256GB | 大模型推理、多会话或部分卸载 |
| 多模型常驻 | 在上述基础上增加32~128GB | 取决于模型数量 | 对话、嵌入和重排序同时运行 |
如果准备同时加载两个 14B 模型,不能只按单个 14B 的内存规划。系统还要承担模型切换、缓存和业务进程的额外开销。对于频繁切换模型的场景,增加内存和NVMe容量通常比单纯提升CPU主频更有效。
CPU、磁盘和网络如何配合
CPU:决定预处理、调度和卸载效率
GPU负责主要矩阵计算,但 Ollama 服务仍然需要CPU完成HTTP请求、分词、提示词拼接、采样、日志和模型加载。
参考范围可以按以下方式设置:
- 7B/8B低并发:8~12个 vCPU;
- 14B在线服务:12~16个 vCPU;
- 32B长上下文或多请求:16~24个 vCPU;
- 70B、多GPU或批处理:24~32个 vCPU,必要时继续增加。
这些数值不是吞吐保证。CPU需求与请求长度、并发量、是否接入检索服务以及是否发生CPU卸载有关。
选择双GPU或多GPU服务器时,还要核对:
- CPU是否拥有足够的PCIe通道;
- 两张显卡是否连接在合适的PCIe插槽;
- NUMA拓扑是否会造成跨节点访问;
- 电源和散热是否支持持续满载;
- GPU之间是否需要高速互联;
- Ollama和底层推理后端是否能按预期拆分模型。
两张24GB显卡并不一定等价于一张48GB显卡。多GPU可以用于模型拆分,也可以用于运行多个模型副本。前者受到通信和后端兼容性影响,后者更适合增加并发,但单个模型仍可能无法使用两张显卡的总显存。
磁盘:重点关注模型数量和切换频率
Ollama模型文件通常需要保存在本地或高速存储上。规划磁盘时,应计算:
模型存储需求 ≈ 所有模型文件总容量 × 1.3~1.5 + 操作系统和日志空间 + 业务数据空间
例如,准备同时保留一个 8B Q4、一个 14B Q4、一个 32B Q4和一个 70B Q4模型,模型文件可能达到约 70~85GB;如果还要保存不同量化版本、旧版本和嵌入模型,实际占用会继续增加。此类部署不宜只购买刚好够用的系统盘,1TB NVMe通常更便于管理,具体容量仍应按模型数量和数据保留周期核算。
磁盘选择重点包括:
- 优先选择本地NVMe,而不是低速网络盘;
- 模型盘与系统盘分离,减少日志和系统更新对模型加载的影响;
- 为模型更新、临时文件和旧版本保留空间;
- 知识库文档和向量数据库较大时,单独规划数据盘;
- 关注持续读吞吐和随机读延迟,而不只看标称容量。
如果业务经常在多个模型之间切换,磁盘读取和内存缓存会直接影响首个请求的等待时间。对于长期常驻的核心模型,应优先让其保持加载状态,而不是依靠频繁从磁盘重新读取。
网络:美国节点要区分访问流量与模型传输
美国GPU服务器的网络规划需要区分三类流量:
- 用户请求与模型返回结果;
- 模型文件下载、更新和备份;
- 知识库、对象存储、数据库或业务系统之间的数据交换。
在线文本生成的请求体通常不大,1Gbps网络在低到中等并发下可能已经足够;但模型下载和远程数据读取对带宽更敏感。以一个40GB模型文件为例,按十进制GB和网络Gbps计算:
- 1Gbps理论时间:40 × 8 × 1000 ÷ 1000 = 320秒,约5分20秒;
- 10Gbps理论时间:40 × 8 × 1000 ÷ 10000 = 32秒。
实际还会受到协议、远端存储、磁盘写入和网络拥塞影响,通常会比理论值更长。
如果访问方主要在北美,美国节点可以减少跨洲往返;如果访问方在亚洲或欧洲,则应以实际用户分布、应用层延迟和数据合规要求选择区域。地域不会改变模型的显存需求,但会影响首字延迟、数据传输成本和故障切换设计。
面向在美国部署 Ollama 的推理与模型测试,A5数据提供可选 A100 80GB、RTX 4090 等显卡的美国 GPU 服务器,搭配服务器 CPU、内存和 NVMe 存储资源,为模型运行提供硬件基础。其美国 GPU 产品还提供 1Gbps 三网直连回国或 3Gbps 国际带宽方案,可满足不同用户分布下的服务访问与模型数据传输需求。
按模型规模选择参考配置
下面的配置用于建立选型基线,不代表 Ollama 对某一具体服务器型号的承载保证。实际容量仍需使用目标模型、目标上下文和目标并发进行验收。
| 业务级别 | GPU显存参考 | 系统内存 | CPU参考 | NVMe参考 | 适合场景 |
|---|---|---|---|---|---|
| 入门交互 | 12~16GB | 32GB | 8~12 vCPU | 500GB~1TB | 7B/8B Q4、少量并发 |
| 中等在线服务 | 24GB | 64GB | 12~16 vCPU | 1TB | 7B/8B高并发、14B Q4、RAG |
| 长上下文或复杂RAG | 48GB | 128GB | 16~24 vCPU | 1~2TB | 14B/32B、8K~32K上下文 |
| 大模型单实例 | 48~80GB | 128~256GB | 24~32 vCPU | 2TB左右 | 32B高精度或70B Q4 |
| 多模型或高并发 | 多张24GB、48GB或80GB卡 | 128~256GB以上 | 24~48 vCPU | 2TB以上 | 模型副本、批处理、混合业务 |
7B/8B:适合把预算放在并发和响应上
7B/8B Q4模型的权重通常可以放入12~16GB显存。若上下文较短、并发不高,8GB显存也可能启动,但剩余空间有限,不适合作为长期在线服务的默认配置。
更实用的方案是:
- 12~16GB显存;
- 32GB系统内存;
- 8~12个 vCPU;
- 500GB~1TB NVMe。
如果需要同时运行嵌入模型、重排序模型或较长上下文,24GB显存会比8GB或12GB更容易保留余量。
14B:24GB显存通常是更均衡的起点
14B Q4模型的权重通常接近10GB,理论上可以在16GB显卡上运行,但上下文、并发和运行时缓冲会迅速消耗剩余空间。对于RAG或多轮对话,24GB显存更适合作为起步配置。
建议关注:
- 24GB显存,必要时选择48GB;
- 64GB系统内存;
- 12~16个 vCPU;
- 1TB本地NVMe;
- 10Gbps网络仅在需要快速拉取模型、访问远端数据或多个业务共享时更有价值。
32B:不要只看模型文件能否放入显存
32B Q4模型文件可能在18~22GB左右,24GB显卡看似能够容纳,但留给KV Cache和运行时缓冲的空间不多。低并发、短上下文可以尝试24GB显卡;如果是在线RAG、较长上下文或多个会话同时生成,48GB显存更合理。
系统内存建议从64GB起步,知识库较大或存在CPU卸载时提高到128GB。此时CPU、PCIe拓扑和散热也需要同步检查,避免只升级显卡而让数据预处理或模型装载成为新的瓶颈。
70B:先确定是单实例还是多副本
70B Q4模型的文件通常接近40GB以上。48GB显存可能足以运行短上下文、低并发配置,但如果需要较长上下文、多会话或更高量化精度,80GB级别显卡会更有余量。
70B场景建议:
- 128GB系统内存作为起点,复杂业务考虑256GB;
- 24~32个 vCPU;
- 1~2TB高速NVMe;
- 48GB或80GB以上显存,按量化版本和并发核算;
- 多GPU时明确采用模型拆分还是多副本。
如果目标是让多个用户同时访问70B模型,增加单卡显存只能解决单实例容量问题,不能自动线性提升并发。此时需要比较多GPU模型拆分、多个模型副本和请求排队三种方案的实际成本。
交付前需要验证哪些指标
产品交付或购买前,应使用与实际业务接近的模型文件、提示词长度和并发量测试,而不是只执行一次单请求推理。建议至少记录以下指标:
- 首字延迟;
- 完整响应耗时;
- 输入和输出Token数量;
- 生成速度;
- 并发增加后的P95延迟;
- GPU显存使用量和GPU利用率;
- 系统内存使用量、Swap活动和CPU占用;
- 模型加载时间;
- 磁盘读取延迟;
- 网络吞吐和错误率。
Linux服务器上可以用以下命令进行基础核对:
nvidia-smi --query-gpu=name,memory.total,memory.used,memory.free,utilization.gpu --format=csv
free -h
df -h
lsblk
如果已经安装并运行 Ollama,可以查看当前模型进程和占用情况:
ollama list
ollama ps
持续观察磁盘和CPU等待情况时,可以使用:
iostat -xz 1
ollama ps显示的处理位置、显存使用和模型状态应与预期一致。如果模型实际大量落在CPU侧,虽然请求能够返回,也应重新评估显卡容量、上下文长度或量化方案。
按瓶颈触发升级,而不是直接堆配置
出现以下情况时,可以针对性升级:
- 显存频繁接近满载或出现内存不足:先检查上下文长度、并发会话和是否同时加载多个模型;确认业务需求后,再增加显存、降低量化精度或减少单实例并发。
- 显存占用不高但生成速度慢:检查是否发生CPU卸载、CPU利用率是否过高,以及模型是否受到PCIe或多GPU通信影响。
- 系统内存持续超过约80%,出现Swap或加载延迟:增加内存,或减少常驻模型和文档缓存;不建议把Swap作为正常推理内存。
- GPU利用率较低、CPU利用率较高:优先检查分词、检索、重排序、请求排队和数据预处理,不一定需要更换GPU。
- 模型切换时间过长:增加NVMe性能和容量,减少频繁卸载,或让高频模型常驻内存。
- 网络持续高占用、跨区域请求延迟明显:核对调用方分布、回源数据位置和传输方向,再考虑升级带宽或调整美国节点区域。
- GPU利用率长期较高且P95延迟超过业务目标:比较增加GPU副本、降低并发、缩短上下文和更换量化版本的效果。
最终配置应由业务指标反推:先确定模型规模、上下文、并发和响应目标,再计算显存与系统内存;磁盘根据模型数量和数据保留周期确定,网络根据用户位置和数据交换量确定。只有当监控显示对应资源已经成为瓶颈时,才升级相应部件,避免把预算集中在用不上的显存或CPU上。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5308.html



