NVIDIA披露AI推理内存优化方案:HBM容量仅增3%,为何每美元吞吐量最高提升30倍?

发布人:A5数据发布时间:2026-11-06 19:53阅读量:117
NVIDIA披露AI推理内存优化方案

GPU显存容量几乎没有增加,AI推理的单位成本性能却提高了数十倍。这组看似矛盾的数据,正在改变人们对AI服务器性能提升方式的理解。

昨日,NVIDIA发布了一份关于AI推理内存优化的技术分析,介绍如何通过GPU架构、低精度计算、CPU内存、KV Cache缓存管理及共享存储等技术协同,提高AI推理基础设施的整体效率。

其中一项数据尤其引人关注:在SemiAnalysis AgentX的特定AI Agent测试负载下,NVIDIA Vera Rubin NVL72相较GB300 NVL72,在每GPU HBM容量仅增加约3%的情况下,每美元推理吞吐量最高提升30倍。

与此同时,NVIDIA发布的技术说明还展示了另一组结果:在指定测试条件下,两代平台每GPU均配置288GB HBM,而Vera Rubin NVL72的单位功率推理吞吐量最高达到GB300 NVL72的30倍。

两组数据分别衡量成本效率和能源效率,不能直接混为一谈,但它们共同指向一个变化:AI服务器的性能提升,已经不能仅用GPU显存容量来解释。

A5数据在梳理此次技术披露时发现,NVIDIA真正强调的并不是让每张GPU安装更多内存,而是通过整套系统的协同设计,让有限的高带宽显存承担更多有效计算。

30倍吞吐量提升,比较的究竟是什么?

首先需要明确,这次公布的30倍性能提升,并不是简单的GPU计算速度对比。

根据NVIDIA官方11月5日发布的数据,在SemiAnalysis AgentX的DeepSeek V4 Pro工作负载下:

  • 比较平台为NVIDIA GB300 NVL72与Vera Rubin NVL72。

  • 在每位用户每秒125个Token的交互速度条件下,Vera Rubin NVL72的每美元吞吐量最高达到GB300 NVL72的30倍。

  • 两代平台的每GPU HBM容量变化约为3%。

  • 在另一项以能耗为指标的AgentX测试中,NVIDIA报告Vera Rubin NVL72在每位用户每秒160个Token的条件下,实现最高30倍的每兆瓦吞吐量提升。

这里涉及两个不同概念。

每美元吞吐量,衡量的是在特定成本计算口径下,单位投入可以获得多少AI推理输出。

每兆瓦吞吐量,则衡量相同功率预算下,系统能够处理多少推理任务。

它们并不等同于单张GPU速度,也不代表所有AI模型都能获得30倍性能增长。

尤其需要注意,NVIDIA采用的是针对AI Agent的测试负载。这类任务往往包含多轮模型调用、工具执行、上下文累积和重复内容处理,与普通短文本聊天的资源使用特点存在明显差异。

因此,这些数字更适合用来观察新一代AI推理系统在特定业务场景中的效率变化,而不应直接用于预测所有GPU服务器的实际收益。

但即使考虑这些限制,数据仍然提出了一个值得研究的问题:显存容量变化很小,系统究竟通过什么方式释放出了更多推理能力?

GPU显存正在面临容量与带宽的双重压力

过去,衡量AI服务器性能时,显存容量往往是最直观的指标之一。

例如,一张GPU拥有80GB、96GB还是192GB显存,直接影响它能够加载多大的模型,以及可以同时处理多少推理任务。

但随着AI Agent和长上下文应用发展,显存需要承担的工作正在增加。

目前,GPU HBM主要承载两类重要数据。

一类是模型权重,也就是大模型运行时需要加载的参数。

另一类是KV Cache,即模型处理输入内容时生成的中间计算状态,用于避免后续请求重复计算相同上下文。

当用户只进行简短问答时,KV Cache占用可能相对有限。

但在代码助手、企业知识库、复杂任务规划和多轮AI Agent应用中,系统可能持续处理大量历史对话、工具调用结果和企业文档。

上下文越长,需要保存的KV Cache通常越多。

更复杂的是,增加显存容量并不意味着能够无限增加并发数量。

因为GPU除了需要保存数据,还必须以足够高的速度读取这些数据。

当多个推理请求同时运行时,显存带宽会被共同使用。如果数据读取速度无法跟上计算需求,即使仍有可用容量,也可能出现性能瓶颈。

这就是AI计算中经常讨论的“内存墙”问题。

NVIDIA此次强调,解决内存压力不能只依靠增加HBM容量,还需要减少不必要的数据占用、提升带宽利用率,并将暂时不活跃的数据放置在更合适的存储层级。

对于服务器采购人员而言,这意味着显存容量依然重要,但不能单独决定一套AI推理系统的实际性能。

第一项变化:NVFP4让相同显存容纳更多模型数据

NVIDIA提出的第一个优化方向,是减少模型权重本身占用的空间。

传统大模型推理可以使用FP16、BF16、FP8等不同数值格式。数值精度越高,通常需要的存储空间越大。

NVIDIA的NVFP4采用4位浮点表示,并配合分层缩放机制,在降低存储需求的同时尽可能保持计算精度。

根据官方技术资料,NVFP4在模型权重存储方面,相较FP16可将内存占用缩小约3.5倍,相较FP8缩小约1.8倍。

这里的改善并不是通过增加物理显存实现的。

如果模型权重占用更少空间,原本用于保存权重的部分HBM就可以释放出来,供KV Cache、批量处理或其他并发任务使用。

NVIDIA还将低精度优化扩展到KV Cache。

其技术披露指出,在相关测试配置下,NVFP4格式的KV Cache相较FP8最多可减少约50%的缓存占用。

这相当于在满足精度要求的前提下,利用相同容量保存更多上下文状态。

不过,低精度格式并非没有代价。

不同模型和业务对于数值误差的敏感程度不同。尤其在代码生成、复杂推理、数学计算和专业领域任务中,降低精度后仍需验证模型输出质量。

因此,对实际部署而言,不能只看到显存节省比例,还必须同时检查准确率、任务完成率和输出稳定性。

显存利用率提升的前提,是节省空间后仍然能够满足业务质量要求。

第二项变化:通过多GPU协同,减少重复保存模型权重

对于大型混合专家模型(MoE),NVIDIA还提出通过更大规模的专家并行方式,提高单张GPU的有效显存利用率。

MoE模型并不是在每次生成Token时都使用全部专家参数,而是根据任务需要激活其中一部分。

如果专家权重集中存放在较少的GPU上,容易造成部分GPU显存被大量权重占据,而其他GPU资源利用不足。

NVIDIA通过TensorRT-LLM中的专家并行及负载均衡机制,将专家权重分布到更多GPU上,并改善不同计算节点之间的工作分配。

这样做可以减少单张GPU必须长期保存的模型权重,让更多显存容量用于缓存和实际推理请求。

但大规模专家并行也会带来另一个问题:GPU之间必须频繁传输数据。

如果互联带宽不足,数据通信开销可能抵消并行计算带来的收益。

因此,NVLink高速互联成为这一方案的重要组成部分。

这也解释了为什么在大型AI推理系统中,单独比较GPU型号已经不够。

相同数量的GPU,采用不同互联架构、模型部署方式和并行策略,可能产生明显不同的推理吞吐量。

对于IDC运营商来说,这一点尤其值得注意。

一套拥有大量GPU、但缺乏高效互联和合理调度的服务器集群,未必能够获得与同规模高集成度AI系统相同的性能。

第三项变化:KV Cache不必始终保存在GPU显存中

如果说NVFP4解决的是数据占用空间问题,那么KV Cache分层管理解决的就是数据应该保存在哪里。

在AI Agent应用中,模型执行过程经常被工具调用打断。

例如,AI可能需要先生成一段程序,再等待代码执行结果;或者需要查询数据库、调用外部API,然后继续完成原来的任务。

在等待期间,原有请求暂时不需要GPU持续生成Token,但此前产生的KV Cache可能仍然占据显存。

如果GPU资源紧张,系统可能将这些缓存清除,为其他任务腾出空间。

等到工具返回结果,原来的AI任务继续运行时,系统又可能需要重新计算此前的上下文。

这种反复清除和重新计算,会消耗额外的GPU资源。

NVIDIA此次提出利用不同层级的内存和存储资源管理KV Cache。

正在使用、对访问速度要求最高的数据,继续保存在GPU HBM中。

暂时不活跃、但预计很快需要恢复的缓存,可以转移到CPU内存。

需要在不同计算节点之间长期复用的上下文,则可以放入共享缓存存储层。

NVIDIA Vera CPU在这一体系中承担重要作用。

官方介绍指出,Vera CPU最多可配置1.5TB LPDDR5X内存,并通过NVLink-C2C与Rubin GPU连接,提供最高1.8TB/s的互联带宽。

这样的设计为暂时不活跃的KV Cache提供了一个容量更大的存放位置。

当AI Agent结束工具调用、重新进入模型推理阶段时,系统可以将所需缓存快速调回GPU。

这里的价值并不是CPU内存比HBM更快,而是避免让GPU显存长期保存暂时不用的数据,同时减少之后重新计算上下文的成本。

第四项变化:SSD开始承担AI推理缓存任务

当AI系统进一步扩大到多台服务器、多个GPU计算节点时,单机CPU内存同样可能面临容量限制。

因此,NVIDIA又将KV Cache管理扩展到共享存储。

其CMX上下文内存存储平台利用高速闪存、网络和专用存储处理技术,为AI推理集群提供共享缓存层。

通过NVIDIA Dynamo与相关数据传输组件,系统能够在不同GPU、CPU内存及外部存储之间管理KV Cache,并尽可能复用已经计算完成的内容。

这与传统SSD主要负责文件、模型和业务数据保存的使用方式有所不同。

在新的架构下,SSD不仅承担数据保存任务,还可能直接影响AI推理的首Token响应时间和GPU利用率。

例如,当多个AI Agent使用相同的企业知识库、公共系统提示词或代码上下文时,系统有机会复用已有KV Cache,而不是让每个GPU节点独立完成相同的Prefill计算。

不过,外部存储并不天然意味着更高性能。

如果网络延迟过高、SSD吞吐量不足,或者缓存命中率较低,读取缓存的成本可能超过重新计算的成本。

因此,共享KV Cache需要高速网络、合理的缓存放置策略以及能够感知缓存位置的推理框架协同工作。

值得注意的是,NVIDIA在11月5日发布的技术资料中还强调了CMX与传统企业存储的区别。

KV Cache通常属于可重新计算的中间状态,并不需要完全采用长期业务数据的保存方式。针对这种数据特点设计专用存储层,有机会减少传统存储机制带来的额外处理开销。

这意味着未来AI存储市场可能进一步分化:模型与业务数据存储、训练数据存储,以及面向推理过程的上下文缓存存储,将出现不同的性能和架构需求。

为什么每美元吞吐量比单张GPU性能更值得关注?

对于普通服务器用户而言,GPU性能通常意味着模型生成速度。

但对于持续提供AI服务的企业来说,真正需要考虑的是:在满足用户响应速度要求的前提下,一套服务器系统能够同时服务多少用户,以及完成这些任务需要多少成本。

例如,两套AI服务器都能让单个用户获得较快的模型响应。

但其中一套能够支持更多并发用户,同时避免重复处理大量上下文,那么它在实际运营中的单位请求成本就可能更低。

NVIDIA此次强调的每美元吞吐量,正是从这一角度衡量系统效率。

不过,这项指标的结果高度依赖成本计算口径。

GPU硬件价格、整机配置、利用率、电力成本、网络设备、存储设备以及软件运营费用,都可能影响最终的单位推理成本。

如果测试采用特定参考价格或特定负载,其计算结果便不能直接等同于所有企业的实际采购和运营收益。

此外,30倍的最高提升来自特定AgentX测试条件,并非NVIDIA对所有推理模型作出的普遍性能承诺。

A5数据认为,这次技术披露最有价值的地方,不在于30倍这个数字本身,而在于它展示了一种新的优化思路:

通过减少重复保存的数据、降低重复计算次数、合理安排内存层级,让相同的硬件资源持续完成更多有效推理工作。

这种思路对于GPU成本较高、需要长期运营AI服务的企业尤其重要。

IDC和企业用户应该如何看待这次技术变化?

对于正在部署AI服务器的用户,我们认为可以从三个方面重新审视现有配置。

首先,不应只根据GPU显存容量判断推理能力。

如果业务主要涉及短文本推理,显存容量、模型规模和计算性能依然是重要因素。

但如果运行的是多轮Agent、长上下文代码助手或企业知识库,那么KV Cache管理、CPU内存容量和缓存复用效率可能产生更明显的影响。

其次,增加GPU数量之前,应先确认现有算力是否被充分利用。

如果系统的主要开销来自重复Prefill、任务排队、内存管理不合理或GPU之间通信效率不足,单纯增加GPU可能无法达到预期收益。

企业可以结合首Token响应时间、输出Token速度、GPU利用率、显存占用及缓存命中率,判断真实瓶颈。

最后,需要考虑整套系统的长期成本。

更先进的缓存分层方案可能需要额外的CPU内存、NVMe SSD、高速网络设备和专业软件支持。

对于小规模部署,这些投入未必划算。

但对于具有较高并发量、重复上下文较多的大型推理集群,减少重复计算带来的收益可能逐渐超过新增基础设施的成本。

IDC运营商同样需要关注这一趋势。

未来GPU服务器产品的竞争,可能不再只是比较GPU型号、显存大小和单机价格,还会涉及推理框架优化、缓存服务、集群互联及单位Token成本。

这并不意味着所有AI服务器都需要采用NVIDIA完整的高端机架架构。

相反,企业应根据自身模型、并发规模和业务特点,选择适当的优化层级。对于中小规模部署,合理使用现有推理框架提供的前缀缓存、批处理和内存管理功能,也可能获得实际收益。

显存容量不再是衡量AI服务器效率的唯一答案

从HBM容量仅小幅增长,到特定Agent负载下每美元吞吐量最高提升30倍,NVIDIA此次公布的数据说明,AI推理性能的提升正在越来越依赖系统级优化。

低精度计算减少模型和缓存占用,GPU高速互联改善大规模并行效率,CPU内存承接暂时不活跃的上下文,而共享存储进一步扩大KV Cache复用范围。

这些技术并非彼此独立,而是在不同环节减少资源浪费。

值得强调的是,NVIDIA展示的是特定测试条件下的最高性能结果。真实业务能获得多少改善,仍然取决于模型类型、上下文长度、并发规模、缓存命中率和实际部署成本。

对于A5数据长期关注的服务器及IDC行业而言,这次发布传递出的信号已经足够清晰。

未来AI服务器的价值,将不仅取决于拥有多少GPU和显存,更取决于能否让这些昂贵资源持续、高效地完成实际推理任务。

当GPU算力逐渐成为基础条件,如何管理内存、减少重复计算以及控制单位Token成本,正在成为AI基础设施竞争的另一条重要主线。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7964.html

相关推荐