Supermicro联合NVIDIA推出KV Cache存储方案:SSD与高速网络如何降低AI推理延迟?

发布人:A5数据发布时间:2026-11-06 19:44阅读量:120
Supermicro联合IBM、NVIDIA推出KV Cache存储解决方案,整合NVMe SSD全闪存服务器、IBM Storage Scale、NVIDIA Dynamo及Spectrum-X高速网络。

AI推理服务器的性能竞争,正在从单纯追求GPU算力,延伸到一个容易被忽视的环节:已经计算过的内容,能否在下一次请求中快速复用?

2026年11月5日,服务器制造商Supermicro宣布与IBM、NVIDIA联合推出一套面向大规模AI推理的KV Cache存储解决方案。该方案整合Supermicro全闪存存储服务器、IBM Storage Scale分布式存储软件、NVIDIA Dynamo推理框架以及Spectrum-X高速以太网,试图解决长上下文和多轮AI交互中的重复计算问题。

根据三方联合测试,在使用1200亿参数大语言模型、输入长度达到13万个Token的特定测试条件下,持久化KV Cache方案使首Token响应时间(TTFT)最高缩短至原来的约1/56。

这一结果值得关注,但它并不意味着所有AI应用都能获得56倍加速。真正需要理解的是:为什么过去主要用于保存数据的SSD,现在开始直接参与AI推理性能优化?高速网络又为什么会影响大模型生成第一个字的速度?

对于正在建设AI推理集群、部署企业知识库或经营GPU算力业务的用户,这次联合方案提供了一个新的基础设施优化方向。

从重复计算入手,KV Cache为什么越来越重要?

大语言模型生成回答,并不是每次都从零开始处理全部信息。

在推理过程中,模型通常需要先处理输入内容,再逐步生成输出。其中,处理输入的阶段称为Prefill,模型会计算并生成注意力机制使用的Key和Value中间状态。

这些中间状态可以保存在KV Cache中。当后续请求包含能够复用的相同上下文时,系统便有机会直接读取已有的计算结果,减少重复执行Prefill的工作量。

对于普通的短文本问答,这种优化未必十分明显。但随着AI应用逐渐转向长上下文、多轮对话和Agent自动化任务,情况正在改变。

例如,企业知识库可能需要反复引用大量内部资料;代码助手需要持续理解整个项目;AI Agent在执行工具调用、数据库查询和任务规划时,也会多次使用已经处理过的上下文。

这些业务具有一个共同特点:输入内容可能很长,但其中相当一部分信息会被重复使用。

问题在于,KV Cache同样需要占用内存。

传统推理系统主要依赖GPU显存保存KV Cache,而GPU显存既要容纳模型参数,也要承担正在处理的推理任务。当上下文越来越长、并发用户越来越多时,显存容量便容易成为限制因素。

如果缓存因为空间不足而被清除,下次请求就可能重新计算相同内容。即使GPU本身具备强大的计算能力,仍然需要为这些重复工作消耗时间和资源。

这也是此次Supermicro、IBM与NVIDIA合作的出发点:把可以重复利用的KV Cache扩展到GPU显存之外,让不同计算节点能够访问共享的缓存数据。

Supermicro、IBM和NVIDIA分别解决什么问题?

这次发布的并非单独一款SSD,也不是普通的存储服务器升级,而是一套横跨计算、存储、网络和推理软件的联合架构。

其主要组成包括:

Supermicro Petascale全闪存存储服务器:提供大容量缓存空间。

该方案采用基于AMD EPYC 9005系列处理器的Supermicro Petascale存储服务器,以高密度NVMe SSD构建共享存储资源池。

与GPU显存相比,SSD能够以较低的单位容量成本保存更多缓存内容,使长上下文任务不必完全依赖昂贵的HBM显存。

IBM Storage Scale:负责分布式存储管理。

当KV Cache分布在多台存储服务器上时,仅有SSD容量还不够。系统需要管理数据分布、并发访问和存储可用性。

IBM Storage Scale承担共享存储层的管理工作,让多个计算节点能够通过统一的存储体系访问缓存内容。

NVIDIA Dynamo:决定缓存如何在推理过程中复用。

Dynamo是NVIDIA面向分布式AI推理的框架,能够协调推理任务及KV Cache管理。

缓存保存下来,并不意味着性能一定提高。只有推理框架能够识别哪些内容可以复用、缓存位于哪里,以及何时应该读取,存储层才能真正发挥作用。

NVIDIA Spectrum-X:提供高速网络连接。

当KV Cache被放置在独立存储节点上,GPU服务器访问缓存便需要经过网络传输。

如果网络带宽不足、延迟过高或并发访问产生拥塞,读取缓存的时间可能抵消避免重复计算所节省的时间。

Spectrum-X通过高速以太网及相关网络优化能力,为计算节点与存储节点之间的数据传输提供支撑。

在A5数据看来,这套方案最值得关注的并不是某个硬件参数,而是它改变了存储服务器在AI基础设施中的位置。

过去,存储更多负责模型文件、训练数据、日志和业务数据的持久化保存。现在,它开始承担推理过程中的中间状态管理,直接影响用户等待模型响应的时间。

56倍性能提升意味着什么?必须看清测试条件

Supermicro此次公布的性能结果中,最引人关注的是首Token响应时间最高改善56倍。

TTFT指从用户提交请求到模型开始输出第一个Token所经历的时间。

对于聊天机器人、代码助手和企业AI应用而言,TTFT直接影响用户对系统响应速度的感受。

根据官方公布的联合测试结果:

  • 测试使用约1200亿参数的大语言模型。

  • 在13万个Token的长输入场景下,使用持久化KV Cache的方案实现了最高56倍的TTFT改善。

  • 当输入长度从3万个Token增加至13万个Token时,启用KV Cache的测试中,TTFT仅增加约0.377秒。

  • 在没有相应缓存复用的对照测试中,同样的输入长度变化使TTFT增加约29.55秒。

这些数字表明,在具有大量可复用上下文的长输入任务中,读取已经保存的KV状态,可能明显快于让GPU重新处理全部输入。

但这里有一个重要前提:测试针对的是能够有效复用缓存的特定工作负载,并不是所有AI请求都能获得相同收益。

如果每次请求的输入内容完全不同,缺少可以复用的前缀或上下文,那么KV Cache命中率可能较低。此时,系统仍然需要执行必要的Prefill计算。

另外,56倍改善针对的是首Token响应时间,而非模型整体推理吞吐量或完整回答生成时间。

模型输出阶段的速度,还会受到GPU计算能力、显存带宽、并发调度和输出长度等因素影响。

因此,不能将这项测试结果简单理解成“SSD让GPU性能提高56倍”。

更准确的解释是:在特定长上下文和缓存复用条件下,外部高速存储帮助系统减少了大量重复计算,从而显著缩短模型开始响应的等待时间。

SSD并不比显存快,为什么反而能降低延迟?

从硬件性能看,GPU HBM显存的带宽和访问延迟通常明显优于NVMe SSD。

既然如此,把KV Cache从显存转移到SSD,为什么还能改善推理性能?

关键在于比较对象不同。

如果只比较读取同一份数据的速度,GPU显存具有明显优势。

但实际推理过程中,需要比较的往往是两种操作:

一种是重新执行长上下文的Prefill计算。

另一种是从外部存储读取已经计算完成的KV Cache,再恢复到推理所需的内存层级。

对于具有大量可复用Token的任务,第二种方式可能明显节省时间。

这里的SSD并没有取代GPU显存,而是为缓存提供了容量更大的扩展层。

频繁使用、对延迟要求极高的数据仍然适合保存在GPU显存中;暂时不活跃但未来可能再次使用的上下文,可以根据系统策略转移到其他内存或存储层级。

当请求再次需要这些内容时,系统再将对应缓存调入。

这种设计与传统计算机的多级缓存思想有相似之处,但AI推理缓存的对象、数据规模和访问模式有明显不同。

尤其在长上下文场景下,KV Cache可能占用大量空间。将全部缓存长期保留在GPU显存中,不仅成本高,还会挤占其他推理任务的可用资源。

通过引入共享SSD存储层,运营方可以扩大可复用缓存的容量,而不必让每台GPU服务器单独配置足够容纳全部历史上下文的显存。

需要注意的是,这种收益建立在缓存读取足够快、缓存命中率足够高,以及推理框架调度合理的基础上。

如果外部存储响应缓慢,分层缓存反而可能引入新的等待时间。

高速网络成为关键:缓存放得下,还必须取得快

在普通网站或企业业务系统中,存储网络性能往往主要影响文件读写、数据库响应和备份效率。

但在共享KV Cache架构中,网络已经进入AI推理的关键路径。

推理服务器需要通过网络访问外部缓存,任何明显的传输延迟都可能影响首Token响应时间。

Supermicro发布的联合验证资料显示,其测试环境采用8个Petascale存储节点,并使用NVIDIA Spectrum-X构建Spine-Leaf网络架构。

测试配置涉及400Gb/s存储网络连接以及800Gb/s上联链路,同时包含高并发和模拟其他租户持续占用网络资源的测试场景。

这说明厂商不仅关注理想条件下的峰值吞吐量,也尝试验证共享网络出现资源竞争时的性能表现。

对于实际部署而言,至少有三个因素需要同时考虑。

首先是网络带宽。

大量GPU节点同时读取KV Cache时,存储服务器需要具备足够的聚合吞吐能力。否则,单台服务器的SSD再快,也可能因为网络链路拥塞而无法及时提供数据。

其次是网络延迟。

AI交互任务关注响应时间。如果每次缓存读取都要经过较长的网络等待,即使带宽充足,也未必能达到预期效果。

最后是网络拥塞控制。

多个推理任务共享网络时,不同业务之间可能互相争抢资源。部分任务突然产生大量数据传输,可能导致其他请求响应变慢。

Spectrum-X提供的自适应路由、拥塞控制和服务质量管理能力,正是针对这类数据中心网络问题进行优化。

不过,这也意味着高性能共享KV Cache并不只是购买一批NVMe SSD就能实现。

存储节点、网络交换机、网卡、软件配置和推理调度必须协同设计,才有可能达到联合测试中展示的效果。

对IDC和GPU服务器业务意味着什么?

从服务器及IDC行业的角度观察,这次方案透露出一个值得重视的变化:AI算力服务正在进一步细分。

过去,用户选择AI服务器时,通常首先关注GPU型号、显存容量、GPU数量以及网络带宽。

这些指标仍然重要,但随着实际业务从模型训练转向持续在线的推理服务,系统的衡量标准正在变化。

对于企业知识库、长文本分析、代码助手和多轮Agent任务而言,仅仅增加GPU数量,未必能线性提高服务效率。

如果大量GPU计算时间花在重复处理相同上下文上,新增算力可能只是放大了资源浪费。

共享KV Cache提供了另一条优化路线:在保持现有GPU计算资源的同时,提高已计算内容的复用比例。

这可能让存储型服务器、高速网络交换机以及分布式缓存软件成为AI推理集群中更重要的组成部分。

对提供GPU服务器租用、AI推理集群及企业私有化部署服务的IDC厂商而言,未来的产品竞争也可能不再局限于“配置多少张GPU”。

围绕模型推理特点提供合理的显存、系统内存、NVMe存储与网络组合,将逐渐成为影响服务性能和成本的重要因素。

不过,A5数据也注意到,当前这类共享KV Cache架构主要面向具有一定规模的推理环境。

对于仅部署单个模型、并发量不高的小型AI应用,额外建设分布式存储集群和高速网络,可能带来不必要的硬件及维护成本。

是否值得采用,需要结合实际业务决定,而不能只依据厂商公布的最高加速倍数。

企业部署时,先判断是否真的需要共享KV Cache

对于正在规划AI推理服务器的企业,我们建议先从现有业务的性能数据入手。

第一,判断性能瓶颈是否集中在长上下文处理。

如果应用主要是短文本问答,输入Token数量较少,且不同用户之间几乎没有重复上下文,那么外部KV Cache的收益可能有限。

相反,如果系统经常处理数万甚至十几万个Token的输入,并且存在大量重复使用的公共上下文,那么缓存复用更值得评估。

第二,区分首Token延迟和完整响应时间。

TTFT较高,可能与Prefill计算、请求排队或缓存未命中有关。

如果首Token输出很快,但后续生成速度缓慢,问题可能更多集中在Decode阶段的GPU计算能力、显存带宽或并发调度。

不同瓶颈需要采用不同优化方式。

第三,测量缓存命中率和读取成本。

共享KV Cache的实际价值取决于能否避免足够多的重复计算。

企业可以在测试环境中比较冷缓存和热缓存条件下的TTFT、吞吐量及资源占用,同时观察外部缓存读取是否引入额外延迟。

第四,评估存储与网络的整体投入。

建设共享缓存层不仅涉及SSD采购,还包括存储服务器、交换机、网卡、软件授权、维护以及机房电力等费用。

对于IDC运营商,更应该比较单位成本下能够稳定提供的推理吞吐量,而不是单独追求某一项基准测试成绩。

第五,重视多租户隔离和缓存管理。

KV Cache可能包含与用户输入相关的中间计算状态。对于向不同客户提供服务的共享推理平台,需要确保缓存访问权限、租户隔离、过期清理和故障恢复机制得到正确实现。

尤其是多企业共用GPU与存储资源的环境,缓存复用不能以跨租户数据泄露为代价。

此外,KV Cache属于可重新计算的推理中间状态,不应被误认为企业原始文档、数据库或业务记录的替代存储。长期业务数据仍然需要独立的持久化保存和备份策略。

AI服务器竞争,正在从单点算力走向整套基础设施

Supermicro此次联合IBM、NVIDIA推出KV Cache方案,表面上是一项存储技术更新,实际上反映了AI推理基础设施的变化。

随着长上下文、多轮交互和AI Agent应用普及,模型在计算过程中产生的中间状态越来越多,GPU显存不再是唯一需要关注的资源。

通过让SSD保存可复用缓存、利用高速网络连接不同计算节点,再由推理框架协调缓存调度,系统有机会在不重复执行大量计算的情况下,更快地响应后续请求。

但这种架构并非适用于所有业务,也不能保证每个部署环境都获得同样的性能提升。

它真正带来的启示是:未来衡量一套AI推理服务器是否高效,不能只看GPU拥有多少算力,还要看存储、网络和软件能否让这些算力持续完成有价值的工作。

对于服务器制造商、IDC运营商和企业AI部署团队而言,如何减少重复计算、控制数据传输开销,并提高GPU的实际利用率,可能比单纯增加硬件规模更值得投入。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7963.html

相关推荐