SK海力士联手Intel探索共享内存:AI服务器未来能否突破单机内存限制?

发布人:A5数据发布时间:2026-11-14 16:39阅读量:56
SK海力士与Intel合作探索AI服务器共享内存架构,利用CXL技术实现跨服务器内存池化与KV Cache复用。

AI服务器的性能瓶颈,正在从计算能力逐渐延伸到内存资源的分配方式。随着大语言模型、长上下文推理和AI智能体应用快速发展,即使服务器拥有性能强大的GPU,也可能因为内存容量不足、缓存数据频繁迁移而影响实际运行效率。

11月12日,在韩国首尔举行的2026 Intel AI Summit上,SK海力士展示了一种新的AI服务器内存架构:将部分大容量内存从传统CPU、GPU服务器中独立出来,形成能够被多台服务器共同访问的共享内存池。该公司表示,正与Intel及其他产业合作伙伴开展系统级设计和技术验证。

11月13日,DIGITIMES进一步报道了双方在内存中心化计算架构方面的合作进展。随着AI智能体对内存容量和数据传输效率提出更高要求,SK海力士希望通过共享内存改变传统服务器资源相互独立的使用方式。

值得注意的是,SK海力士在现场公布了一组测试结果:在特定重复推理场景中,采用CXL远程DRAM保存和复用缓存数据,可将首Token响应时间从80.76秒缩短至15.45秒,降幅约81%。

这一结果引出了一个值得服务器行业关注的问题:未来AI服务器是否不再需要依靠不断增加单机内存容量,就能满足更大规模的计算任务?

AI服务器内存不足,问题不只是容量太小

传统服务器通常采用相对固定的内存配置。CPU通过本地DDR内存处理系统任务,GPU则依赖自身配备的HBM或其他显存完成高性能计算。

这种设计的优势是内存与处理器之间距离较近,能够提供较低的访问延迟和较高的数据传输效率。

但在大型AI应用中,固定配置也带来了一些限制。

首先,不同服务器的内存利用率可能存在明显差异。

某些GPU服务器正在处理长上下文推理任务,显存接近耗尽;同一集群中,其他服务器却可能存在未充分利用的内存资源。

由于这些内存通常属于不同的计算节点,系统无法像管理一个统一资源池那样灵活分配。

其次,AI推理过程中会不断产生需要保存和复用的中间数据。

以大型语言模型为例,Transformer架构通常使用KV Cache保存已经计算过的注意力键和值,避免模型在后续生成内容时重复处理相同的历史信息。

当对话内容不断增加,或者AI智能体需要连续调用多个模型、工具和任务时,KV Cache占用的内存也会随之增长。

一旦GPU显存不足,系统便可能需要删除部分缓存、将数据转移到其他存储设备,或者在后续请求中重新执行计算。

这些处理方式虽然能够维持服务运行,却可能增加响应延迟和计算资源消耗。

A5数据在分析此次技术变化时注意到,对于部分AI推理业务而言,真正影响服务器效率的并不一定是GPU计算能力不足,而是已经完成的计算结果无法得到高效保存和复用。

这也是SK海力士尝试将内存资源从单台服务器中分离出来的重要原因。

SK海力士提出共享内存池,改变传统服务器资源结构

SK海力士此次展示的方案,并不是简单增加服务器内存插槽,而是尝试重新组织整个AI计算系统中的内存资源。

按照其介绍的架构,CPU和GPU服务器仍然保留各自的本地内存,但额外的大容量内存可以部署在独立设备或内存机架中。

这些内存资源被统一组织为共享内存池,通过高速互连技术向多个计算节点提供服务。

其核心变化在于,内存不再完全依附于某一台物理服务器。

当某台服务器需要处理大规模数据时,可以访问共享内存中的相关内容;完成计算后,产生的部分中间结果也可以保存在共享内存中,供后续计算任务使用。

例如,一个AI智能体可能需要先理解用户需求,再调用检索模型、推理模型和其他应用程序。不同计算阶段产生的部分缓存数据,如果能够由多个计算节点高效复用,就有机会减少重复计算和跨节点数据搬运。

这种架构通常被称为内存池化或内存资源解耦。

与传统服务器完全独立管理本地内存的方式相比,它希望提高整个集群的资源利用率,而不只是追求单个节点的最大内存容量。

不过,共享内存并不意味着多台服务器可以毫无性能损失地访问同一块内存。

不同计算节点之间仍然存在通信延迟、带宽限制、访问协调和数据一致性等问题。

因此,合理的设计通常需要保留本地高速内存,并将共享内存用于更适合远程访问的数据,而不是完全替换CPU内存或GPU显存。

CXL成为关键技术,但不能简单理解为普通网络共享

要让多台服务器使用共享内存,首先需要解决计算设备之间如何高效访问内存的问题。

此次SK海力士展示的方案涉及CXL(Compute Express Link)技术。

CXL是一种基于PCIe物理连接体系发展的高速互连技术,主要用于处理器、加速器和内存扩展设备之间的数据交换。

与传统通过网络访问远程存储的方式不同,CXL能够提供面向内存访问设计的通信机制,使处理器能够使用符合条件的外部内存资源。

在支持内存池化的系统中,多个计算节点可以按架构设计和资源管理策略,共同使用一组扩展内存设备。

但需要区分两个概念:CXL内存扩展与跨服务器共享内存,并不是完全相同的功能。

单台服务器通过CXL设备增加可寻址内存容量,属于相对直接的内存扩展应用。

而让多个服务器共同访问共享内存池,则涉及交换设备、访问控制、地址管理、数据一致性以及软件调度等更加复杂的系统设计。

如果共享内存跨越多个机架或更大范围,还可能需要结合RDMA等高速通信技术。

因此,现阶段不能简单认为普通服务器安装一张支持CXL的扩展卡,就可以自动获得完整的跨服务器共享内存能力。

这类系统通常需要CPU平台、主板固件、互连设备、操作系统以及上层应用软件共同支持。

对于IDC运维人员而言,CXL的出现确实带来了新的内存扩展可能,但实际部署难度仍然取决于具体产品和系统架构。

首Token响应时间缩短81%,这组数据意味着什么?

SK海力士在11月12日公布的测试结果,是此次新闻中最值得关注的技术细节之一。

据韩国媒体报道,SK海力士与合作伙伴针对重复推理任务,对比了三种不同的KV Cache处理方式。

缓存处理方式

平均首Token响应时间

缓存被删除后重新计算

80.76秒

将缓存保存在外部SSD中

33.56秒

通过CXL远程DRAM保存与复用缓存

15.45秒

从测试结果来看,相比删除缓存后重新计算,CXL远程DRAM方案将首Token响应时间降低约81%。

相比SSD缓存方案,CXL远程DRAM也表现出更短的首Token响应时间。

这一差距反映出,在需要重复利用大量中间计算结果的场景中,将缓存保存在速度较快的内存资源中,可能明显减少重新计算带来的等待时间。

不过,必须正确理解这组数字。

81%的改善并不代表采用CXL共享内存后,所有AI服务器的推理性能都会提升81%。

首先,测试比较的是特定重复推理负载下的首Token响应时间,并不是GPU理论算力、Token持续生成速度或整个AI系统的综合吞吐量。

其次,测试中最慢的方案需要重新计算已经丢弃的缓存,因此其等待时间可能受到大量重复计算的影响。

如果某个AI任务原本就能将全部缓存保存在GPU本地显存中,共享内存未必能够提供同样明显的性能收益。

此外,测试结果还会受到模型规模、上下文长度、缓存命中率、互连带宽和软件调度策略等因素影响。

A5数据认为,这组数据真正证明的是共享缓存机制在特定任务中具有潜在价值,而不是远程DRAM能够在所有场景下取代GPU本地HBM。

对于未来的AI服务器采购,这种区别尤其重要。

共享内存不等于淘汰HBM,反而可能形成新的分层架构

随着CXL内存池技术发展,一个容易产生的误解是:既然多个服务器可以使用共享内存,未来是否就不再需要昂贵的HBM?

从目前的技术路线看,答案并非如此。

HBM的核心优势在于极高的内存带宽,以及与GPU计算单元之间紧密的集成方式。

在大型模型训练、高密度矩阵计算以及对内存访问性能敏感的推理任务中,HBM仍然具有重要作用。

CXL共享内存的主要价值则是提供容量扩展、数据共享和资源灵活分配能力。

两者解决的问题并不完全相同。

更有可能的发展方向,是AI服务器逐渐形成多层次内存体系。

GPU本地HBM负责对带宽和延迟要求最高的数据,CPU本地DRAM承担系统任务和部分数据处理,CXL扩展内存则用于保存更大规模、访问频率相对较低但仍需要快速读取的数据。

对于更大规模的数据,还可以结合企业级SSD和分布式存储系统。

这种架构类似于在不同性能等级的存储资源之间建立更加灵活的数据管理机制。

关键在于让合适的数据停留在合适的位置。

如果系统能够提前判断哪些KV Cache即将被使用,并将其从较慢的存储层迁移到速度更快的内存中,就有机会减少GPU等待数据的时间。

反过来,如果缓存调度不合理,大量数据频繁跨节点传输,也可能让共享内存成为新的性能瓶颈。

因此,内存池化不仅是硬件互连问题,更是软件调度和数据管理问题。

这不是突然出现的新概念,SK海力士此前已经展示过相关系统

从技术发展时间来看,11月12日的消息并不意味着SK海力士刚刚开始研究共享内存。

今年10月,SK海力士已经在OCP Global Summit 2026上介绍了名为MARS(Memory-Centric AI Rack System)的内存中心化AI机架系统。

该方案尝试将计算设备与内存资源进行更灵活的组合,通过CXL内存池和相关互连技术提升AI工作负载的数据访问效率。

当时,SK海力士展示了第二代256GB CXL内存模块,采用CXL 3.2相关技术。

根据SK海力士公布的数据,该产品相比前代实现超过两倍的带宽,达到80GB/s,同时能源效率提高约30%。

不过,这些属于厂商提供的产品及测试指标,不能直接作为整个AI服务器性能提升的幅度。

在系统演示方面,SK海力士还与Arcee、Liqid、Marvell等合作伙伴展示了基于CXL共享内存的AI智能体服务。

另一项与AMD、Penguin、Xcena及Arcee合作的演示,则探索了将DRAM与SSD结合使用的混合内存架构,以更高效地保存和复用大型KV Cache。

这些进展说明,共享内存已经不再只是停留在概念层面的技术方向,相关企业正在通过原型系统和概念验证测试其实际可行性。

但原型验证与大规模商业部署之间仍然存在明显距离。

11月12日与Intel的进一步合作,更多体现出SK海力士正在推动这类架构进入更广泛的服务器平台和产业生态,而不是宣布已经推出一套可直接大规模采购的标准化共享内存服务器。

Intel为什么参与?CPU在AI服务器中的作用正在变化

在当前AI硬件市场,GPU往往获得更多关注,但复杂AI应用并不是只依赖GPU完成所有工作。

尤其在AI智能体场景中,计算过程可能涉及任务规划、程序执行、数据库访问、外部工具调用以及多个模型之间的协作。

这些任务需要CPU、GPU、系统内存和网络资源协同处理。

Intel正在强调一种异构计算架构:由CPU承担任务调度、系统控制和通用计算,GPU及其他加速器负责适合其架构的高并行计算任务。

共享内存恰好可以成为不同计算节点之间的数据协作基础设施。

对于Intel而言,推动CXL及相关服务器平台的发展,有助于提升CPU在大型AI系统中的资源管理和数据协调作用。

对于SK海力士而言,则可以将业务从传统内存芯片供应进一步延伸到系统级内存解决方案。

双方的合作因此具有一定互补性。

但需要说明,CXL并不是Intel与SK海力士独占的专有技术,AMD以及其他处理器、交换芯片和服务器厂商同样参与相关生态建设。

未来共享内存系统能否普及,很大程度上还取决于行业标准的成熟程度,以及不同厂商产品之间能否实现可靠互操作。

如果每套共享内存方案都需要专门定制服务器硬件和软件,部署成本可能仍然较高。

只有形成相对标准化的产品体系,内存池化才更容易被普通企业数据中心和IDC服务商采用。

对IDC企业而言,共享内存可能改变什么?

对于服务器租赁、云计算和AI算力服务商,共享内存最直接的潜在价值在于提高资源利用率。

传统服务器销售和租赁模式通常以单机配置为基础。

客户选择CPU、内存、GPU和存储容量后,相关硬件资源便主要分配给对应服务器使用。

即使某些资源在特定时间内处于闲置状态,其他客户也不一定能够直接使用。

共享内存则提供了另一种可能:将部分内存资源独立管理,根据实际负载进行动态分配。

例如,在面向企业AI推理的集群中,不同客户的上下文长度和并发需求可能存在明显差异。

如果系统能够按需分配共享缓存空间,就有机会减少为了应对少量峰值任务而在每台服务器上配置大量内存的需求。

但这并不意味着共享内存一定能够降低成本。

独立内存设备、CXL交换设施、高速网络、机柜空间和额外的软件管理系统,都需要资金投入。

同时,新增设备也会带来供电、散热、故障管理和维护成本。

对于IDC企业,真正需要计算的是:共享内存节省的本地内存采购成本和重复计算开销,能否覆盖新架构本身的建设成本。

另一个需要关注的问题是多租户隔离。

如果多个客户的AI工作负载共同使用内存池,系统必须确保不同租户之间的数据访问受到严格控制。

KV Cache中可能包含与用户请求相关的上下文信息,因此访问权限、缓存清理、资源回收及故障恢复都需要完善的安全机制。

这意味着共享内存服务器未来不仅需要硬件认证,也需要在操作系统、虚拟化平台和AI推理框架层面建立成熟的管理能力。

真正突破单机内存限制,还需要解决哪些问题?

从目前公开的技术进展来看,共享内存已经展示出一定的应用潜力,但距离成为普通AI服务器的标准配置,仍有几个关键问题需要解决。

第一,跨节点访问延迟。

GPU访问本地HBM通常比访问远程共享内存更快。即使采用CXL和高速互连,也无法完全消除传输距离和设备层级增加带来的开销。

第二,带宽竞争。

当多个计算节点同时读取共享内存中的大量数据时,互连链路和交换设备可能成为新的性能瓶颈。系统必须合理控制访问并发和数据传输。

第三,缓存调度效率。

AI推理过程中哪些数据应该留在GPU显存,哪些应该迁移到共享内存,哪些可以放入SSD,需要由软件根据工作负载进行管理。

第四,系统可靠性。

传统服务器的内存故障通常主要影响本机,而集中式共享内存设备如果缺乏冗余和故障隔离机制,可能同时影响多个计算节点。

第五,平台兼容与商业成本。

CPU、主板、BIOS、CXL交换设备、操作系统以及AI应用框架必须形成完整的兼容体系,企业才能将技术演示转化为稳定运行的生产环境。

因此,共享内存技术未来的竞争重点,可能不只是内存容量和数据带宽,还包括资源调度软件、故障恢复能力和整体部署成本。

对于准备采购AI服务器的企业,我们暂时不建议仅因为共享内存技术取得新进展,就放弃当前成熟的内存配置方案。

更合理的方式是根据已有AI负载判断性能瓶颈:如果长期存在KV Cache溢出、重复计算开销较高或不同服务器内存利用率严重不均等问题,可以持续关注CXL内存池的后续商业化进展,并在具备兼容硬件时进行小规模验证。

AI服务器未来竞争的焦点,可能不再只是单机配置

SK海力士与Intel此次探索共享内存,反映出AI基础设施设计思路正在发生变化。

过去,服务器性能提升往往依赖更强的CPU、更多的GPU,以及容量和带宽更高的本地内存。

但随着AI推理任务规模持续扩大,单纯增加硬件配置并不一定能够解决资源利用不均和数据重复计算的问题。

如果未来能够通过共享内存技术,让多个计算节点更加高效地使用同一组内存资源,AI服务器集群就有机会减少部分闲置容量,并提高复杂推理任务的数据复用效率。

这并不是要消除单机内存限制,而是通过系统架构调整,降低部分应用对单台服务器本地内存容量的依赖。

我们在关注这项技术时,更重视其对实际业务成本的影响,而不是单纯追求更大的共享内存容量。

只有当共享内存带来的计算效率提升,能够抵消新增互连设备、软件管理和运维复杂度产生的成本时,它才有可能成为IDC和企业AI基础设施中的常用方案。

目前,SK海力士公布的测试数据已经展示了特定推理场景下的改善空间,但大规模商业部署所需的兼容性、可靠性和经济性仍有待验证。

对于未来的AI服务器市场,这或许预示着一个更加重要的变化:衡量计算基础设施性能的方式,正在从每台服务器拥有多少内存,逐渐转向整个集群能够多高效地利用和共享内存资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9474.html

相关推荐