Intel D270配备160GB内存:AI推理卡为什么开始重视容量而不仅是算力

一张GPU究竟能够同时服务多少个AI用户,答案并不完全取决于它拥有多少计算核心。
随着大语言模型逐渐进入企业客服、智能助手、代码生成和自动化业务,GPU服务器的性能瓶颈正在发生变化。过去,硬件厂商习惯用TFLOPS、PFLOPS等计算指标展示产品性能,而在实际推理部署中,模型能否完整装入显存、能够保存多长的上下文,以及同时处理多少个请求,同样会直接影响服务效率。
11月17日,A5数据关注到,Intel在SC26超级计算大会期间公布了数据中心GPU D270的新一批测试结果,并进一步展示了这款产品在AI推理与高性能计算领域的应用方案。
D270采用Xe3P架构,配备32个Xe核心和256个XMX矩阵计算引擎,Intel标准板卡拥有160GB LPDDR5X内存,内存带宽为1.5TB/s,合作伙伴设计版本最高可扩展至480GB。整卡采用PCIe 5.0接口和350W风冷设计。
160GB内存并非D270此次才公布的新规格。真正的新进展,是Intel开始用实际应用测试说明,这种大容量内存与计算能力相结合的设计,究竟能够带来怎样的业务表现。
这也引出了一个值得讨论的问题:当AI应用从模型训练转向持续在线推理,GPU的竞争重点是否正在从单纯追求峰值算力,转向内存容量、吞吐量与运营成本之间的平衡?
160GB内存意味着什么?先看模型能否完整装入GPU
在AI服务器领域,用户通常把GPU板载内存称为显存。
Intel D270使用的是LPDDR5X,而不是传统独立显卡常见的GDDR显存,也没有采用高端AI加速器广泛使用的HBM高带宽内存。
虽然技术路线不同,但这160GB仍然是供GPU访问、用于存放模型参数和计算数据的本地内存,并不是服务器主板上的系统DDR5内存。
理解大容量显存的价值,可以先从模型参数开始。
以一个700亿参数的大语言模型为例,如果使用FP16精度保存全部参数,仅模型权重的理论存储需求就约为140GB。
这还没有计算KV Cache、临时计算缓冲区、运行时环境和其他额外开销。
因此,即使拥有160GB显存,也不能简单认定一张GPU就可以高效运行所有700亿参数模型,更不能只凭模型权重大小判断实际能够支持的上下文长度和并发数量。
如果采用8位量化,700亿参数模型的原始权重容量可以降到约70GB,具体还需要根据量化格式、缩放参数和模型结构计算额外开销。
这样一来,GPU就可能为KV Cache和其他运行资源保留更多空间。
当然,量化并不是没有代价。不同精度下的模型效果、计算效率和框架支持情况,仍然需要根据具体业务测试。
A5数据分析,160GB内存真正吸引企业用户的地方,不是它能够装入某个固定参数规模的模型,而是可以在模型权重之外,为长上下文和多用户请求保留更多可用空间。
过去企业比较GPU时,往往只问能不能运行某个模型。现在更实际的问题是:模型运行之后,还能同时处理多少个真实用户?
AI推理为什么越来越容易遇到显存容量瓶颈?
大语言模型推理通常包含两个重要阶段:Prefill和Decode。
Prefill可以理解为输入处理阶段。
当用户提交问题、文档或其他上下文时,模型需要处理输入内容,并为后续生成建立必要的中间状态。
Decode则是输出生成阶段。
模型根据已经处理的上下文,逐步生成后续Token,直到完成回答。
这两个阶段对硬件资源的要求并不相同。
Prefill通常涉及较大规模的并行计算,对计算吞吐量有较高要求;Decode则需要持续读取模型参数和已有缓存,容易受到内存访问效率、带宽以及并发调度等因素影响。
其中,KV Cache是显存容量需求的重要来源。
为了避免每次生成新Token时都重新计算全部历史内容,Transformer模型通常会保存注意力机制中的Key和Value中间状态。
随着输入上下文变长,KV Cache所需的内存容量通常也会增加。
如果一个AI服务需要同时处理大量独立会话,就可能为多个请求保存不同的KV Cache。
例如,企业AI知识库需要检索大量文档内容,代码助手需要理解整个项目的文件,自动化智能体则可能在多轮任务中持续保存历史状态。
这些应用的共同特点,是一次请求所涉及的上下文可能远大于普通简短聊天。
不过,KV Cache容量与模型层数、注意力头结构、缓存精度和实际Token数量有关,并不是所有模型每增加相同数量的Token,就会占用相同的显存。
此外,分页式KV Cache管理、前缀缓存、量化以及缓存卸载等技术,都可能改变实际显存使用情况。
因此,不能仅根据160GB这一项参数,就推算出D270能够支持多少个并发用户。
但可以确定的是,当其他条件接近时,更大的可用显存通常能够为模型参数、上下文缓存和批处理提供更多资源空间。
这也是为什么AI推理卡开始重视容量,而不再只围绕最高理论算力展开竞争。
Intel最新测试公布了什么?12%的吞吐提升需要放在具体条件下看
此次SC26期间,Intel公布了D270在多个实际计算负载中的初步测试结果。
在AI推理方面,Intel使用Qwen3-30B-A3B模型进行测试,并将D270与NVIDIA RTX PRO 6000 Blackwell Server Edition进行比较。
根据Intel公布的数据,在指定FP8精度、输入和输出长度均为1024 Token、并发数量为1至32的测试条件下,D270的输出Token吞吐量达到对比GPU的1.12倍。
换句话说,在Intel选定的这组测试中,D270取得约12%的吞吐量优势。
另一项针对Drex v2.0决策类模型的测试中,Intel表示D270的延迟最高降低29%。
这些数据为D270的性能提供了新的参考,但需要注意几个限制。
首先,测试使用的是尚未正式量产的D270预生产芯片,结果不能直接视为最终零售产品的性能承诺。
其次,Intel和NVIDIA测试系统并非完全相同的硬件及软件环境。Intel披露的部分NVIDIA对比测试运行于AWS虚拟机,GPU驱动、软件容器及推理框架版本也存在差异。
第三,1.12倍吞吐量和29%延迟改善来自不同的测试任务,不能叠加计算,也不能推广到所有模型或推理场景。
此外,Intel这次的对比对象是RTX PRO 6000 Blackwell Server Edition,并不是NVIDIA所有数据中心GPU,更不能据此推断D270已经全面超过H100、H200或B200等其他加速器。
A5数据注意到,这组数据值得关注,但更值得分析的是它反映出的性能评价方式变化。
Intel并没有只展示GPU理论浮点计算能力,而是开始强调具体模型、推理框架和应用延迟。
对于真正经营GPU推理服务的企业来说,用户通常不会直接感知GPU的峰值TFLOPS,却能够感受到回答是否及时、请求是否需要排队,以及高峰期服务是否稳定。
因此,评价AI推理卡的指标,需要从理论算力延伸到实际Token吞吐量、首Token延迟、并发能力和单位业务成本。
有160GB内存还不够,1.5TB/s带宽决定数据能以多快速度移动
内存容量和内存带宽是两个不同的概念。
容量决定能够同时保存多少数据,带宽则决定单位时间内能够从内存传输多少数据。
Intel D270采用160GB LPDDR5X,公布的内存带宽为1.5TB/s。
这一设计体现出Intel对内存容量与传输性能的取舍。
与采用高带宽HBM的部分旗舰级AI加速器相比,LPDDR5X通常无法提供相同级别的峰值带宽。
但在设计目标上,Intel希望利用更大的内存空间、合理的带宽与功耗配置,提高部分推理任务的整体效率。
这种选择并非没有技术风险。
例如,在Decode阶段,如果模型需要频繁读取大量权重数据,内存带宽就可能成为吞吐量瓶颈。
即使GPU拥有足够大的显存,可以容纳整个模型,如果数据读取速度无法满足计算需求,更多的显存容量也不会自动转化为更快的输出速度。
反过来,如果GPU拥有极高的内存带宽,却无法容纳所需模型或缓存,系统可能不得不采用多卡切分、CPU内存卸载等方式。
这些操作又可能增加通信开销与系统复杂度。
所以,大容量与高带宽之间并不存在绝对的优劣关系。
对于长上下文、需要保存大量会话状态的应用,更大的显存空间可能具有明显价值。
对于频繁读取模型权重、追求极高生成吞吐量的应用,内存带宽和缓存效率可能更加重要。
A5数据认为,未来企业选择推理GPU,不能只问显存有多少GB,也不能只看带宽有多少TB/s。
必须结合实际模型大小、输入输出Token数量、并发需求和延迟目标,判断究竟是容量不足,还是带宽与计算能力限制了整体性能。
Intel还在尝试将推理拆开:D270负责输入,其他芯片负责输出
此次Intel公布的技术方案中,还有一个比单卡内存容量更加值得关注的方向。
Intel与SambaNova合作展示了一套异构、分离式AI推理架构。
按照官方介绍,Intel GPU D270负责计算密集型的Prefill阶段,SambaNova SN50可重构数据流处理器负责以内存访问为重要性能因素的Decode阶段,而Intel Xeon 6及Xeon 6+处理器承担任务协调、主机通信和工具执行等工作。
这种设计试图解决一个现实问题:同一张GPU不一定擅长处理推理流程中的所有任务。
Prefill和Decode的计算特点不同,如果始终使用相同硬件执行全部任务,就可能造成部分计算资源利用率不高。
通过将不同阶段交给更适合的处理器,系统有机会提高硬件利用率。
例如,Prefill阶段需要快速处理大量输入Token,而Decode阶段更强调持续读取和生成过程中的资源效率。
让不同设备承担不同阶段的工作,理论上可以减少某些场景下的资源竞争。
不过,分离式推理不是简单把两张加速卡连接起来就能获得性能收益。
系统还需要在不同设备之间传输中间状态,合理调度任务,并处理跨设备通信与缓存管理。
如果传输延迟过高,或者任务规模较小,分离式架构带来的额外复杂性可能抵消一部分优势。
因此,Intel与SambaNova展示的是一条正在推进的技术路线,而不是已经证明适合所有AI推理业务的通用方案。
从IDC行业角度看,这种发展值得关注。
过去GPU服务器通常以整台机器或固定数量显卡作为租用单位。随着推理系统逐渐采用不同处理器承担不同任务,未来的算力平台可能进一步细分计算、内存和推理阶段的资源配置。
这会提高系统设计的灵活性,但也意味着运营商需要具备更复杂的软件调度和性能管理能力。
160GB只是标准配置,480GB版本能否改变多卡部署方式?
Intel此前已经公布,D270标准板卡配置160GB LPDDR5X,而合作伙伴可以设计最高480GB内存的版本。
这一规格对GPU服务器市场具有一定吸引力。
当模型及其运行时资源无法装入单张GPU时,企业通常需要考虑将模型拆分到多张GPU上运行。
多卡部署能够扩展总显存和计算能力,但也需要解决GPU之间的数据通信、模型切分和资源调度问题。
如果某项业务更依赖显存容量,而不是极高的计算吞吐量,那么采用单张大容量GPU,可能减少部分跨卡通信需求。
对于特定模型,480GB级别的单卡内存有机会提供不同于常见多卡部署的资源组合。
但需要强调,480GB属于合作伙伴可设计的容量上限,并不意味着所有D270产品都将提供这种规格。
不同容量版本可能涉及板卡布局、内存颗粒、功耗、散热和整机兼容性等差异。
截至11月17日,Intel尚未公布足够完整的480GB版本独立性能数据,也没有明确的公开量产售价可供比较。
另外,大容量单卡并不一定比多卡系统更快。
如果应用本身需要大量并行计算,或者在Decode阶段受到内存带宽限制,那么多GPU系统仍然可能具有更好的吞吐能力。
因此,480GB版本真正可能改变的,是部分容量受限应用的部署选择,而不是直接取代所有多卡推理方案。
为什么D270还要支持FP64?Intel并不只想进入AI推理市场
Intel此次SC26公告还有一个不同于此前产品介绍的新重点:D270不仅面向AI推理,也被进一步定位为适合高性能计算(HPC)的加速器。
根据Intel公布的规格,D270支持从低精度FP4到FP64双精度浮点计算,并提供原生FP64计算能力。
低精度计算适合部分AI模型推理,因为模型可以通过量化等方式减少内存占用,并提高计算效率。
而FP64在部分科学计算、金融建模和工程仿真中具有重要作用。
这类应用需要更高的数值精度,以减少多次计算过程中的浮点误差累积。
在此次公布的金融计算测试中,Intel表示D270在特定欧式Monte Carlo期权定价负载下,相较RTX PRO 6000 Blackwell Server Edition最高获得5.9倍应用吞吐量。
但这并不是D270的AI推理性能提高5.9倍。
该测试针对特定FP64金融计算任务,不同GPU对双精度运算的硬件支持存在显著差异,因此结果不能推广到普通大语言模型推理。
Intel还展示了D270在地震成像和数值模拟中的应用,希望利用较大的板载内存保存更多数据,减少与主机之间的传输。
这意味着D270的目标市场并不局限于提供聊天模型API的GPU服务器。
金融分析、科研机构、工程仿真以及将传统数值计算与AI结合的系统,都可能成为潜在应用场景。
对于IDC运营商来说,这类产品的价值需要结合客户行业判断。
如果客户主要进行普通大模型推理,FP64能力可能不是采购时最重要的因素。
但如果客户同时需要科学计算与AI处理,那么一款兼顾多种精度和较大内存容量的加速卡,就可能具有不同的应用价值。
不采用HBM,就一定能够降低GPU服务器成本吗?
D270采用LPDDR5X而非HBM,是它在硬件设计上最明显的特点之一。
HBM具有很高的内存带宽,但其制造、堆叠和先进封装过程相对复杂。
Intel采用LPDDR5X,意图在内存容量、能效和制造成本之间建立另一种平衡。
但不能因为D270没有使用HBM,就直接认定它的最终销售价格一定低于竞争产品。
GPU服务器的实际采购成本不仅包括显存,还包括GPU芯片、封装、板卡、电源、散热,以及服务器整机和软件支持成本。
而对企业运营商来说,真正需要比较的是长期计算成本。
假如某张GPU采购价格较低,但完成相同工作需要更长时间,或者能够处理的并发请求更少,那么实际运营成本未必更有优势。
反之,即使某种加速卡价格较高,只要能够在相同时间内处理更多请求,也可能降低单位Token成本。
Intel为D270公布了350W的功耗设计,并采用标准PCIe 5.0风冷板卡形态。
这种设计有利于在具备足够供电和散热能力的现有企业服务器中进行部署,不一定需要专门建设液冷基础设施。
不过,350W是产品功率规格,不等于设备在所有工作负载下持续消耗350W,也不能只凭GPU标称功耗计算整台服务器的能效。
此外,风冷板卡仍然依赖服务器机箱提供合适的空气流量,并不意味着无需风扇或散热规划。
截至目前,D270缺少公开、完整的量产价格与大规模第三方应用测试。
因此,对成本优势更合理的判断,应当等待实际产品交付后,根据不同模型的吞吐量、功耗和采购价格进行比较。
对GPU服务器租用市场来说,应该怎样评估D270?
从A5数据关注的海外GPU服务器租用市场来看,D270代表了一个值得留意的硬件方向,但现阶段还不能简单按照160GB显存给它确定商业价值。
对于计划部署AI推理服务的企业,我们更建议关注实际应用指标,而不是将显存容量直接转换成所谓的服务器性能排名。
首先是模型部署能力。
企业需要确认目标模型在实际量化精度下,是否能够完整放入GPU内存,并为上下文缓存和运行时程序保留足够空间。
其次是延迟与吞吐量。
对于在线AI客服、代码助手等业务,首Token响应时间和持续生成速度都会影响用户体验。
如果服务需要同时支持大量请求,还应测试不同并发数量下的吞吐量、尾延迟和服务稳定性。
再次是软件生态。
Intel强调D270支持开放软件体系,并推进PyTorch、vLLM、oneAPI及SYCL等技术的应用。
但GPU能否稳定运行某个模型,不仅取决于框架是否能够启动,还涉及算子支持、量化格式、注意力实现、驱动稳定性和推理引擎优化程度。
对于主要使用CUDA生态的企业而言,更换GPU平台还可能产生软件适配和测试成本。
此外,服务器运营商需要考虑设备的实际供应情况。
D270已经进入样品评估及性能展示阶段,但这与大规模商业交付仍有区别。
对于需要保证长期服务的GPU租用平台,量产时间、备件供应、驱动维护和客户支持能力,都与硬件性能同样重要。
A5数据分析,未来高性价比AI推理服务的竞争,可能不再单纯取决于谁采购了计算能力最强的GPU,而在于谁能够针对具体模型和用户请求,提供更合适的内存、计算与网络资源组合。
例如,长上下文文档处理业务可能更关注显存容量;高并发的短文本生成服务则可能更重视输出吞吐量;需要复杂推理和工具调用的AI智能体,还会对调度和延迟提出不同要求。
不同业务最终选择的最优GPU,不一定是同一款产品。
GPU的下一轮竞争,可能是让更多计算资源真正被利用
Intel D270的160GB内存规格,并不意味着GPU算力已经不重要。
恰恰相反,计算能力仍然决定模型能够完成多少实际运算,内存带宽也继续影响数据访问效率。
变化在于,企业开始更加重视这些资源之间是否平衡。
当模型能够装入GPU,却因为计算性能不足而无法满足响应要求时,计算能力就是瓶颈。
当GPU拥有很高的算力,却因为显存容量不足而无法保存足够的模型参数或并发缓存时,增加理论算力也未必能够解决问题。
而当内存容量足够、计算性能也具备,却因为软件调度和数据传输效率不高而造成资源闲置时,系统架构又会成为新的限制因素。
Intel此次公布D270的初步测试,以及与SambaNova合作的分离式推理方案,实际上都在尝试回答同一个问题:如何让AI计算资源在真实业务中得到更有效的利用。
从11月16日公布的测试结果来看,D270已经展示了一定的应用潜力,但其商业竞争力仍需要通过量产产品、更多模型测试及长期运行数据验证。
对于GPU服务器租用行业而言,160GB显存只是一个值得关注的起点。
未来用户比较GPU服务器时,除了显卡型号、显存容量和租用价格,可能还需要了解具体模型能够支持多长的上下文、多少并发,以及每小时真正能够完成多少推理任务。
大容量内存不会取代算力,但它正在成为决定算力能否充分发挥价值的重要条件。
当AI应用越来越多地从模型开发转向长期在线服务,真正具有竞争力的GPU,也许不再是某一项参数最高的产品,而是在特定工作负载下能够以合理成本持续提供有效计算能力的产品。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/10029.html



