高通HBC高带宽计算芯片完成硬件验证:AI250推理加速器计划2027年上半年出样

发布人:A5数据发布时间:2026-11-03 18:47阅读量:221
高通宣布第一代HBC高带宽计算芯片完成硬件验证,确认内存读写与近存计算功能,基于该技术的Dragonfly AI250推理加速器计划于2027年上半年出样。

随着大模型逐渐从训练阶段走向实际应用,AI服务器的性能竞争正在发生变化。过去,企业采购GPU服务器时,往往更关注处理器的计算能力、显存容量和显存带宽。但在大模型推理场景中,处理器能否快速获取模型数据,以及完成一次推理需要消耗多少电力,同样直接影响服务器的运行效率和长期成本。

2026年11月2日,高通(Qualcomm)宣布,第一代High Bandwidth Compute(HBC,高带宽计算)芯片完成关键硬件验证。测试确认了完整的内存读写路径及近存计算功能能够在实际硅芯片上运行,为后续商业化AI推理加速器奠定基础。

按照高通公布的产品路线图,HBC技术将被应用于Qualcomm Dragonfly AI250推理加速平台,预计2027年上半年开始提供样品。

与传统依靠增加GPU计算核心或者扩大外部显存带宽的方案不同,HBC尝试将部分计算能力部署到更接近内存的位置,减少数据在存储与计算单元之间反复传输的开销。

高通希望通过这种架构,提高大语言模型推理的有效带宽和能源利用效率,并降低大规模AI服务的每Token处理成本。

A5数据认为,这次进展值得服务器和IDC行业关注。因为随着AI应用数量增加,企业未来选择推理服务器时,需要考虑的可能不再只是GPU算力大小,而是内存带宽、推理吞吐量、功耗、软件兼容性以及实际业务成本之间的整体平衡。

不过,目前HBC仍处于从芯片验证走向产品集成的阶段。高通尚未公布基于正式量产AI250产品的完整独立测试数据,因此不能将厂商规划性能直接理解为已经在商业环境中实现的结果。

一、高通这次完成了什么验证?

根据高通11月2日发布的技术公告,其第一代HBC芯片已在美国圣迭戈实验室完成关键功能验证。

本次测试使用行业标准的自动化测试设备,在具有生产代表性的条件下,验证芯片内部的完整内存读写路径和近存计算能力。

测试还使用随机化的权重和激活值,检查相关计算与数据访问功能是否按照设计运行。

对于一项新的芯片架构来说,这意味着相关功能不再仅仅停留在计算机仿真或概念设计阶段,而是已经通过实际制造出来的芯片进行了验证。

高通同时披露了几项技术进展:

  • 第一代HBC芯片的完整内存读写路径已得到验证。

  • 近存计算功能已在实际硅芯片上运行。

  • 晶圆键合等先进封装工艺已经经过开发和测试。

  • 设计中包含冗余、缺陷重映射及可靠性测试机制。

  • 面向数据中心的相关产品已完成流片,逻辑基底与堆叠DRAM的早期调试正在进行。

  • Dragonfly AI250计划于2027年上半年开始提供样品。

这些进展说明高通正在逐步解决HBC商业化面临的芯片设计、封装、制造和可靠性问题。

但硬件验证成功,并不等于完整加速卡已经完成量产。

从一块验证芯片到正式投入数据中心运行,还需要完成产品集成、散热、电源、驱动、软件适配以及长期稳定性测试。

尤其是AI服务器通常需要7×24小时运行,芯片能否在长期高负载条件下保持性能和稳定性,比实验室中的短时间测试更加重要。

因此,我们认为,这次发布应被视为一项重要的技术里程碑,而不是高通AI250已经正式进入商业交付阶段。

二、为什么AI推理越来越受到内存带宽限制?

要理解HBC的意义,首先需要认识大模型推理中的一个问题:处理器的计算能力并不总能被充分利用。

目前,很多AI服务器使用GPU执行大语言模型推理。

GPU具有强大的并行计算能力,但模型运行时,还需要不断从显存中读取模型权重、缓存数据及其他中间结果。

如果计算核心等待数据的时间过长,即使GPU拥有较高的理论计算性能,也无法始终保持满负载运行。

这通常被称为内存带宽瓶颈,或者“内存墙”。

以大语言模型生成文本为例,推理过程通常可以分成两个主要阶段。

第一阶段是Prefill,即输入处理阶段。

当用户输入一段较长的问题或者文档时,模型需要对输入内容进行处理,生成初始状态及相关缓存数据。

在这个阶段,计算能力、内存带宽和输入长度都会影响性能。对于某些模型和批处理配置,计算能力可能成为主要瓶颈。

第二阶段是Decode,即逐Token生成阶段。

模型开始一个Token接一个Token地生成回答。

对于批处理规模较小的推理服务,模型可能需要频繁读取大量权重数据,而每次生成的计算量相对有限。

这时,内存带宽可能成为主要性能限制。

也就是说,GPU虽然能够快速计算,但如果内存无法及时提供数据,更多计算核心也不一定带来同比例的速度提升。

对于在线聊天、AI助手和实时推理API来说,Decode阶段的表现会直接影响用户感受到的生成速度。

因此,AI推理服务器除了需要足够的计算能力,还需要解决如何高效传输模型数据的问题。

高通HBC正是围绕这一问题设计。

不过,并不是所有AI推理任务都受相同程度的内存带宽限制。

例如,大批量推理、复杂多模态处理以及计算密集型模型,可能仍然主要受到计算性能限制。

因此,HBC技术的实际收益需要通过具体模型、批处理规模和工作负载进行验证。

三、HBC与传统HBM显存有什么不同?

目前,NVIDIA、AMD等厂商的高端AI加速器广泛采用HBM(High Bandwidth Memory,高带宽内存)。

HBM通过堆叠DRAM芯片,并结合先进封装技术,为GPU提供较高的数据传输带宽。

相比普通服务器DDR内存,HBM能够在较小的封装空间内提供更高带宽,因此被广泛用于AI训练和推理加速器。

但随着AI模型规模增加,计算单元与内存之间的数据传输仍然需要消耗时间和电力。

高通HBC的设计思路,是进一步缩短数据与计算之间的距离。

HBC将DRAM与具有计算功能的逻辑芯片进行三维集成,使部分数据处理能够直接在靠近内存的位置完成。

因此,它不仅是提高内存的数据读取速度,还试图减少部分数据必须传输到主计算单元后才能处理的需求。

从设计理念来看,两者的关注重点有所不同。

比较项目

传统GPU + HBM架构

高通HBC架构

主要设计方式

GPU计算单元搭配高带宽内存

将部分计算功能集成在靠近内存的位置

主要优化方向

提升GPU访存带宽与计算吞吐

减少数据搬运并提高有效带宽

典型应用

AI训练、推理、高性能计算

面向大模型推理及内存密集型计算

技术成熟度

已有大规模商业部署

第一代芯片完成验证,产品尚待出样

实际性能

有多种量产产品及测试数据

尚需正式产品及第三方工作负载验证

需要说明,高通提出HBC,并不意味着HBM技术即将被淘汰。

HBM在成熟度、产品生态和实际部署规模方面已经具有明显基础。

未来不同AI计算架构可能长期并存,各自针对训练、推理和其他计算任务进行优化。

此外,高通宣传的HBC“有效内存带宽”与传统HBM的物理内存带宽并非完全相同的指标。

前者与近存计算减少数据搬运的方式有关,后者更多反映内存接口传输能力。

因此,不能简单将两种带宽数字直接相除,就认定实际模型推理速度会得到相同比例提升。

四、AI250规划了哪些硬件能力?

高通此前公布的Dragonfly产品路线图显示,AI250定位于面向数据中心的大规模AI推理加速平台。

其核心特点,是通过HBC架构提高内存带宽和容量,并与整机架服务器方案结合。

根据高通公开的产品资料,AI250的规划指标包括:

项目

高通公布的AI250规划指标

产品名称

Qualcomm Dragonfly AI250

核心技术

第一代HBC高带宽计算

单卡内存容量

768 GB

单卡有效内存带宽

133 TB/s

机架加速卡数量

56张

机架总内存容量

约43 TB

机架有效内存带宽

约7.4 PB/s

扩展互联

PCIe 6.0、以太网及RoCE

机架散热方式

空气冷却、直接液冷

机架规划热设计功耗

140 kW

产品进度

预计2027年上半年提供样品

需要强调,以上属于高通公布的目标产品规格,并不是此次第一代验证芯片已经完整实现的量产整机性能。

其中,单卡133 TB/s属于厂商定义的有效内存带宽指标,不能直接等同于传统显存芯片的物理传输带宽。

而140 kW是机架级规划热设计功耗,不是单卡耗电量,也不是经过生产环境实测的平均运行功率。

在正式产品推出前,实际性能、功耗、售价及供货情况仍可能发生变化。

A5数据认为,AI250产品规划中最值得关注的两个方向,是大容量内存与机架级推理设计。

对于大模型推理服务来说,更大的可用内存容量,有机会减少模型跨设备分布时的数据交换需求。

但模型能否在单卡或单服务器上运行,还取决于参数规模、量化精度、KV Cache占用和推理框架的实际支持情况。

因此,不能简单根据内存容量,就判断某款AI250设备必然能够高效运行所有超大规模模型。

五、HBC未来适合哪些AI服务器应用场景?

从高通公布的技术方向来看,HBC主要瞄准的是大规模、持续运行的AI推理业务。

我们认为,未来比较值得关注的应用场景包括以下几类。

1. 大语言模型API推理服务

目前,越来越多企业通过API调用大语言模型,为网站、App和业务系统提供智能功能。

例如智能客服、自动问答、文档处理、内容审核及企业知识库等应用。

这类业务通常需要长期保持推理服务在线,并根据用户请求实时生成回答。

对于模型输出阶段受到内存带宽限制的任务,如果HBC能够有效降低数据搬运开销,就可能提高单位设备的Token吞吐量。

但最终是否具有成本优势,还需要比较相同模型、相同延迟要求下的真实请求处理能力。

2. AI Agent与自动化任务

AI Agent通常需要多轮调用模型,完成任务分析、工具使用、结果检查和后续决策。

与普通单轮问答相比,这类应用可能产生更多模型请求,并且对响应延迟和连续性提出较高要求。

例如企业内部自动化运维助手、智能客服工作流、代码辅助系统和数据分析Agent。

如果推理平台能够降低单位Token的处理成本,就有机会改善这类高频调用业务的运营效率。

不过,Agent业务的整体耗时还包括外部API、数据库、搜索和工具调用,不能只根据加速器性能判断完整任务速度。

3. 企业私有化大模型部署

部分企业由于数据管理、业务系统集成或合规要求,希望在自己的服务器上部署AI模型。

这种环境通常需要同时考虑内存容量、推理速度、功耗和维护成本。

未来如果AI250能够提供成熟的软件工具链,并支持企业实际使用的模型和量化格式,那么大容量HBC内存可能成为一种新的部署选择。

但目前AI250尚未正式出样,因此不能将其直接纳入现阶段可采购的生产服务器配置。

企业现有项目仍应根据当前实际可以买到的GPU、CPU和内存方案完成选型。

4. 云服务商与IDC推理算力租赁

对于提供GPU服务器租赁、AI API或者推理算力服务的IDC厂商,HBC技术可能带来新的硬件选项。

目前,许多AI算力产品主要按照GPU型号、显存容量、使用时长或者Token使用量定价。

未来,如果专用推理加速器能够在相同电力和部署成本下提供更高吞吐量,服务商就可能获得新的价格竞争空间。

但这取决于实际硬件采购成本、利用率、软件生态及客户模型兼容性。

A5数据认为,专用推理加速器不会仅仅因为厂商宣称更高能效,就自动成为所有GPU租赁业务的更优选择。

能否满足客户实际使用的软件和模型,仍然是商业部署的关键。

六、AI推理服务器如何解决内存带宽和成本问题?

AI250尚未正式上市,因此目前无法提供针对该产品的实际安装命令、驱动部署方案或者生产优化参数。

但对于已经在使用NVIDIA、AMD或其他AI服务器的企业,我们认为,可以先从现有业务入手,优化内存使用、推理效率和服务器成本。

1. 先确定瓶颈是计算能力还是内存带宽

并不是所有推理任务都适合通过增加内存带宽解决。

管理员应先建立性能基准,观察不同并发请求下的实际表现。

例如:

  • 首Token延迟(TTFT)

  • 每Token生成时间(TPOT)

  • 每秒生成Token数量

  • 不同并发下的吞吐量

  • 加速器计算单元利用率

  • 显存占用及内存带宽使用情况

  • 整机功耗和请求失败率

如果GPU计算利用率不高,但Decode阶段吞吐量难以提升,就需要进一步检查模型是否受到内存访问限制。

如果Prefill阶段已经充分利用计算资源,则优化计算路径、批处理和算子效率可能更有价值。

分析时应结合模型架构与推理框架,不能仅凭一个GPU利用率指标确定瓶颈。

2. 根据实际模型选择合适的量化方案

模型量化是降低内存占用和带宽需求的常见方法。

例如,将部分模型权重从较高精度格式转换为INT8或INT4,可以减少权重占用空间,并可能降低访存压力。

但量化也可能影响模型精度、特定算子的执行效率和实际推理延迟。

因此,我们建议先在业务测试集上比较不同精度方案。

重点检查回答质量、模型稳定性、推理速度和内存占用,而不是只关注模型文件缩小了多少。

特别是企业知识问答、代码生成和复杂推理任务,需要确认量化不会造成不可接受的业务质量下降。

3. 优化批处理和KV Cache管理

对于在线推理服务,合理的连续批处理可以提高设备利用率。

但批处理规模过大,也可能增加单个用户的等待时间。

管理员应根据业务实际并发量和响应时间要求,确定适合的批处理策略。

此外,KV Cache会随着请求数量和上下文长度增加而消耗内存。

对于长上下文、多轮对话和Agent业务,KV Cache可能成为影响并发量的重要因素。

可以结合推理框架能力,评估PagedAttention、缓存复用、前缀缓存及KV Cache量化等技术。

这些优化能否产生收益,取决于模型类型、框架版本和实际请求分布,需要通过测试验证。

4. 不要只比较GPU单卡价格

对于IDC服务商,推理业务的真实成本不仅包括GPU租金。

还包括:

  • 服务器CPU、内存及存储成本。

  • 网络、机柜、电力与冷却成本。

  • 模型加载和显存占用成本。

  • 设备闲置时的固定支出。

  • 运维、监控及故障恢复成本。

  • 软件许可和商业支持费用。

因此,我们建议使用每百万有效输出Token成本、满足延迟目标的每秒Token吞吐量,以及每瓦特有效吞吐量进行综合比较。

例如,两套服务器即使租赁价格不同,也应在相同模型、相同请求条件和相同服务质量要求下测试,才能判断哪套方案更划算。

这比直接比较显卡型号或者理论TOPS更具有业务意义。

七、如果未来考虑采购AI250,IDC服务商应该如何评估?

高通计划在2027年上半年提供AI250样品,意味着目前主要仍处于产品准备阶段。

对于正在规划下一代AI推理业务的IDC服务商,我们认为可以提前建立评估标准,但不必立即改变现有采购计划。

首先,应该关注AI250正式产品能否支持客户实际需要的模型。

例如,主流开源大语言模型、不同量化精度、长上下文推理和多模态模型等。

其次,需要检查软件生态。

包括驱动、容器支持、模型加载工具、推理框架、监控接口、自动化部署以及故障排查能力。

对于目前大量依赖CUDA生态的软件来说,迁移至新的加速平台可能需要适配和重新测试。

第三,需要验证实际Token吞吐量和延迟。

高通公布的带宽指标具有参考意义,但用户最终购买的是可用推理能力,而不是理论内存参数。

建议未来采用相同模型和请求数据,对比不同平台的吞吐量、延迟、功耗和运行成本。

第四,需要考虑机房条件。

高通规划的Dragonfly Rack属于高密度AI推理基础设施,涉及电力、散热、网络及机架部署。

对于普通服务器机柜,不能直接认为能够承载相同功率等级的设备。

尤其是采用高密度液冷方案时,还需要评估机房是否具备相应的供电容量、液冷设施、冗余能力和维护条件。

第五,需要确认硬件采购价格、供货周期和售后支持。

即使一款产品具有较好的能效,如果采购成本过高、交付周期过长或者软件维护复杂,也可能影响实际投资回报。

因此,A5数据建议将AI250列入2027年AI推理基础设施的技术观察名单,等正式样品、兼容性资料和第三方测试出现后,再决定是否进入实际采购评估。

八、AI服务器竞争正在从算力转向整体推理效率

近年来,AI服务器市场长期围绕GPU计算能力、HBM容量和先进封装技术展开竞争。

随着生成式AI进入商业应用阶段,市场开始更加重视推理成本。

对企业来说,训练一个大模型需要大量算力,但模型一旦上线,就可能长期服务数以万计甚至更多的用户请求。

如果每次请求的计算、电力和基础设施开销过高,即使模型效果出色,也可能面临商业化成本压力。

因此,A5数据认为,AI推理服务器未来将越来越重视三个问题。

首先,是如何在有限内存带宽下提高有效吞吐量。

其次,是如何在满足用户延迟要求的情况下提高设备利用率。

最后,是如何降低每次有效模型调用的整体成本。

高通HBC的思路,正是通过减少数据搬运,尝试改善上述问题。

不过,从行业发展来看,这不意味着传统GPU架构会失去竞争力。

NVIDIA和AMD也在持续改进显存系统、缓存、数据传输及推理软件。

不同方案的竞争,最终仍会体现在真实工作负载的性能、功耗、软件生态和成本上。

对于IDC行业来说,这种变化可能带来新的服务器产品分类。

过去,服务商可能主要按照GPU型号销售算力。

未来,针对训练、实时推理、批量推理和长上下文应用,可能需要配置不同类型的加速硬件。

例如,AI训练仍然需要强大的通用并行计算能力。

而对于高频、稳定、长期运行的推理业务,专用推理加速架构可能更加值得评估。

但现阶段还不能确定HBC能否在实际商业部署中形成明显的成本优势。

这些问题需要等AI250样品交付,并经过真实模型和第三方测试后才能得到更可靠的答案。

九、下一代AI服务器不能只看理论算力

高通第一代HBC芯片完成硬件验证,说明近存计算技术正在向商业化AI推理产品迈进。

这项进展值得关注,因为它提出的优化方向,与目前AI服务器面临的内存带宽、功耗和成本问题密切相关。

但A5数据认为,技术验证成功与产品最终具有商业竞争力,仍然是两个不同阶段。

目前高通已经证明了部分核心技术能够在实际芯片上工作,但AI250尚未正式出样,也没有形成可供市场普遍验证的量产产品性能数据。

因此,现在就认定HBC将取代HBM,或者认定AI250必然比现有GPU服务器成本更低,都为时尚早。

对于普通企业用户来说,如果当前已经有明确的AI部署需求,没有必要单纯为了等待AI250而推迟项目。

更实际的做法,是基于现有成熟硬件建立性能基准,优化模型精度、批处理、KV Cache和服务器利用率。

对于IDC服务商,则可以持续关注HBC的产品化进展,以及未来是否具备提供专用推理算力服务的条件。

尤其是在采购高密度AI服务器之前,应同时考虑电力、散热、网络和维护成本,而不能只关注加速卡本身。

在A5数据看来,未来AI服务器的竞争,不会只是谁拥有更多计算核心或者更高的理论算力,而是谁能在满足业务延迟与模型质量要求的前提下,以更低的整体成本完成更多有效推理任务。

高通HBC的首次硬件验证,为这一竞争方向提供了新的技术路径。

接下来,Dragonfly AI250能否按计划在2027年上半年提供样品,以及其正式产品能否在真实大模型推理场景中兑现带宽和能效优势,将是决定这项技术商业价值的关键。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7401.html

相关推荐