Intel联合RadixArk优化SGLang推理框架:Xeon服务器如何参与AI模型推理?

发布人:A5数据发布时间:2026-11-13 16:37阅读量:65
2026年11月13日,Intel宣布与RadixArk合作优化开源AI推理框架SGLang,重点利用Xeon处理器的AMX矩阵加速能力,提升Intel平台的AI推理适配与运行效率。

大语言模型的计算需求正在改变服务器CPU的角色。过去讨论AI基础设施时,行业往往将注意力集中在GPU算力、HBM显存以及高性能加速卡上,而CPU更多被视为负责启动系统、加载数据和管理GPU的辅助组件。

但随着AI应用逐渐从模型训练走向大规模在线推理,情况正在发生变化。如何调度用户请求、管理缓存、处理不同模型的工作负载,以及充分利用现有服务器资源,都开始影响AI服务的实际部署成本。

2026年11月13日04:30,Intel宣布与AI推理基础设施企业RadixArk展开合作,计划针对Intel CPU、GPU及其他加速器优化开源推理框架SGLang,并将相关改进贡献至开源项目。

此次合作特别提到了Intel Advanced Matrix Extensions(AMX)等硬件加速能力,希望通过软硬件协同优化,让开发者能够在现有数据中心和云计算基础设施上部署更多AI推理应用。

值得注意的是,Intel此次并没有发布新的Xeon处理器,也没有公布某款CPU在SGLang中获得数倍性能提升的正式测试数据。此次公告的核心是推理软件生态合作,而不是一项已经完成大规模商业验证的硬件性能突破。

A5数据认为,这条消息真正值得关注的是一个更实际的问题:在GPU仍然承担大量模型计算的情况下,传统Xeon服务器为什么开始重新成为AI推理基础设施的重要组成部分?

Intel与RadixArk合作,重点并不是推出新处理器

根据Intel公布的信息,此次合作主要围绕SGLang展开。

SGLang是一套开源AI推理框架,主要用于大语言模型和多模态模型的高效部署,支持模型服务、请求调度、缓存管理及多种硬件平台。

与模型训练框架不同,SGLang更加关注模型已经完成训练之后,如何在实际业务环境中持续响应用户请求。

例如,企业部署一个AI客服系统,可能需要同时处理大量用户提问;企业知识库则可能需要结合文档检索,向模型持续发送较长的上下文内容。

这些业务不仅要求模型能够正常生成答案,还需要关注响应速度、并发能力和服务器资源利用率。

此次Intel与RadixArk的合作,主要希望让SGLang进一步适配Intel硬件平台,包括Xeon服务器CPU、GPU以及其他计算加速器。

Intel特别强调,相关优化将通过上游开源贡献的方式进入SGLang核心项目,而不是仅提供一个长期独立维护的专用软件版本。

这意味着,相关改进如果通过项目审核并正式合入,未来有机会被更多使用SGLang的开发者采用。

不过,上游贡献是一种开发和维护方式,并不等于所有优化已经完成。

具体支持哪些Xeon型号、在哪些模型上获得性能提升,以及能够降低多少推理成本,仍需要等待后续代码更新和实际测试。

在我们看来,此次合作的价值不仅是扩大Intel硬件兼容范围,更在于尝试降低企业使用不同硬件部署AI推理服务时的软件适配成本。

SGLang为什么成为AI推理的重要框架?

要理解此次合作,需要先区分AI模型与AI推理引擎。

大语言模型本身包含经过训练的参数和网络结构,而推理引擎负责将这些模型组织成能够持续处理用户请求的服务。

对于企业而言,模型能够在服务器上运行,只是完成了第一步。

真正进入生产环境后,还需要考虑多个用户同时访问、请求排队、缓存复用,以及模型计算任务如何在硬件上执行。

SGLang正是围绕这些问题发展起来的推理框架。

其主要能力包括连续批处理、前缀缓存、投机解码,以及针对不同计算设备的模型执行优化。

例如,传统推理服务如果逐个处理用户请求,GPU可能在某些阶段出现资源利用不足。

连续批处理能够根据请求的执行进度动态组织计算任务,让服务器更有效地利用可用资源。

前缀缓存则主要针对多个请求拥有重复输入内容的情况。

如果企业知识库中大量用户都使用相同的系统提示词或公共文档上下文,推理引擎可以在符合条件时复用已经计算过的部分结果,减少重复计算开销。

但缓存并不是越多越好。

它仍然需要占用内存或显存,而且能否获得明显收益,取决于实际请求之间存在多少可复用内容。

因此,AI推理性能并不只由GPU本身的计算能力决定。

推理框架如何组织请求、调度计算、管理内存和执行模型,同样可能影响最终吞吐量。

此次Intel选择与RadixArk合作优化SGLang,也说明硬件厂商开始更加重视推理软件与底层计算架构之间的协同。

Xeon服务器CPU在AI推理中承担哪些工作?

在典型的GPU推理服务器中,GPU主要承担大规模矩阵运算,而CPU负责运行操作系统、处理网络请求、管理内存以及组织部分推理任务。

这些工作虽然不像GPU计算那样容易通过算力指标进行展示,但对整个推理服务非常重要。

例如,一个在线AI接口需要接收客户端请求、完成身份认证、解析输入内容,并将请求分配给合适的模型实例。

当大量用户同时访问时,CPU还需要参与请求队列管理、数据准备和其他系统任务。

如果CPU资源不足,即使GPU尚有计算能力,也可能因为请求调度或数据处理跟不上而无法充分利用硬件。

不过,CPU在AI推理中的作用并不局限于辅助GPU。

随着CPU向量计算和矩阵运算能力发展,部分模型也可以直接在CPU上执行推理。

尤其是参数规模相对较小、经过量化处理,或者对计算吞吐要求没有那么高的模型,CPU推理可能提供另一种部署选择。

Intel此次合作特别提到Xeon处理器内置的AMX技术,就是希望进一步利用CPU已有的矩阵计算能力。

这使Xeon在AI推理环境中可能承担两种不同职责。

一类是在GPU服务器中负责系统控制、数据处理和任务调度。

另一类则是在符合条件的情况下,直接参与模型的矩阵计算。

但这不意味着CPU能够全面取代GPU,也不能简单认为Xeon拥有AMX指令集,就可以高效运行所有大语言模型。

模型大小、内存带宽、量化方式、算子支持及推理框架优化程度,仍然决定最终性能。

Intel AMX为什么可能改善CPU模型推理?

AMX全称为Advanced Matrix Extensions,是Intel在部分Xeon服务器处理器中提供的矩阵计算加速能力。

传统CPU执行矩阵运算时,需要通过相应指令处理大量数据乘法和累加操作。

而大语言模型中的许多计算都与矩阵运算有关。

例如,模型在推理过程中需要对输入数据和模型权重进行运算,其中包含大量矩阵乘法。

AMX通过专门的矩阵计算机制,提高CPU在特定数据类型和计算任务中的处理效率。

但硬件具备相应能力,只是获得性能收益的一个前提。

推理框架还需要调用能够利用AMX的计算内核,并使用适合对应硬件的数据格式。

如果软件仍然采用普通CPU计算路径,即使处理器支持AMX,也不一定能够发挥预期的加速效果。

此外,不同Xeon处理器对AMX的支持能力并不完全相同。

部分较早的Xeon服务器CPU不具备AMX指令集,不能因为同样属于Xeon品牌,就认为可以获得相同的推理性能。

这也是此次合作中软件优化的重要意义。

通过让SGLang更充分地利用Intel平台的硬件能力,可以减少部分用户自行修改推理框架或维护特殊分支的工作。

但实际性能提升仍需结合对应处理器型号、模型结构、量化方式及框架版本测试。

截至此次官方公告,Intel没有公布可以直接用于计算Xeon服务器推理性价比的完整基准测试结果。

因此,现阶段更适合将它理解为进一步完善CPU推理软件生态的计划,而不是已经证明Xeon能够在所有模型上与高端GPU竞争。

Intel此前已经开展Xeon推理优化,此次合作有哪些新意义?

事实上,Intel并不是直到11月13日才开始研究Xeon上的AI推理。

在此次合作公告发布之前,SGLang项目已经有面向Intel Xeon CPU的后端优化工作。

2026年10月16日,SGLang项目公开了第四季度Intel CPU后端优化路线图,重点涉及中小规模大语言模型、混合专家模型以及部分扩散模型工作负载。

相关工作还关注图模式执行、量化支持、模型兼容性和端到端性能测试,并计划为代号Diamond Rapids的下一代Xeon平台做好准备。

这说明,Xeon CPU支持并不是Intel与RadixArk此次合作后才出现的新功能。

11月13日公告的新进展,在于双方正式宣布将进一步联合推动这些优化,并强调通过开源项目上游维护的方式扩大支持范围。

值得注意的是,Intel此次公告前后,SGLang开源生态也出现新的组织发展。

11月13日03:00,LMSYS Org宣布成立SGLang Consortium,创始成员包括NVIDIA、AMD、Intel、Google、Meta、Cloudflare、Modal和RadixArk。

该组织旨在推动SGLang的技术路线、开源协作和跨硬件平台支持。

这两条消息并不是同一件事。

SGLang Consortium是围绕开源项目建立的多方合作机制,而Intel与RadixArk的公告主要聚焦Intel平台优化。

但放在一起看,可以发现AI推理软件正在成为不同硬件厂商共同投入的基础设施。

对于企业用户而言,这种趋势有利于减少推理框架与单一硬件平台深度绑定所带来的维护压力。

不过,开放生态并不意味着不同硬件可以无成本互换。

实际迁移时仍然需要考虑算子支持、模型兼容性、运行环境和性能差异。

没有GPU的Xeon服务器,可以直接部署大语言模型吗?

这是此次合作对普通服务器用户最有实际意义的问题之一。

从技术上说,部分大语言模型可以完全依靠CPU运行推理。

但能否实际部署,以及部署后能否满足业务需求,需要区分不同情况。

对于规模较小、经过量化处理的模型,具有足够内存的Xeon服务器可能具备运行条件。

例如,企业只需要在内部部署简单文本分类、结构化信息提取或者低并发AI辅助应用,就可以评估CPU推理方案。

但如果业务需要长上下文、多用户并发和较高的Token生成速度,CPU性能和内存带宽可能成为明显限制。

尤其是大规模模型,其权重文件本身就可能需要大量内存。

即使服务器拥有足够的DDR5内存加载模型,也不意味着能够达到与高性能GPU相近的推理吞吐量。

因为模型推理不仅受容量限制,还与内存带宽、计算效率及执行框架有关。

相比之下,现代AI GPU通常具备专门的矩阵计算单元和高带宽显存,更适合承担大规模并行计算。

因此,企业不能简单用CPU核心数量与GPU计算单元数量比较推理能力。

例如,一台具有较多Xeon核心的服务器,在处理网站请求、虚拟化和数据库任务时可能拥有较强性能,但运行某个大语言模型时,仍然可能明显慢于具有适合GPU加速能力的服务器。

A5数据认为,Xeon CPU推理的真正价值,并不一定是全面替代高性能GPU,而是让更多已有服务器资源能够参与适合自身能力的AI工作负载。

对于推理需求较轻、已经拥有Xeon服务器的企业,直接评估CPU部署方案,可能比立即采购昂贵GPU更符合实际成本要求。

但对于高并发在线推理服务,仍然需要通过真实业务测试判断采用CPU、GPU或者混合部署更合适。

CPU与GPU混合推理,是否会成为未来的重要方向?

此次Intel公告特别强调异构AI推理基础设施,也就是不同类型计算设备共同参与AI服务。

在企业环境中,这种架构具有现实基础。

因为不同AI任务的资源需求并不相同。

例如,简单文本分类与大型语言模型生成任务相比,计算复杂度可能存在明显差异。

用户请求也可能具有不同的响应时间要求。

对于一些低成本、低并发任务,使用CPU可能已经足够;对于需要大规模矩阵计算的复杂模型,则更适合使用GPU加速。

在实际系统中,企业可以根据模型规模、请求量和成本要求,选择不同类型的计算节点。

但这里需要区分两种部署方式。

一种是不同任务分别运行在CPU或GPU服务器上,由业务系统或调度层进行分配。

另一种是在同一个模型执行过程中,由CPU和GPU共同承担不同计算阶段。

这两种方式的技术难度和性能表现并不相同。

例如,跨设备执行模型计算时,还需要考虑CPU内存与GPU显存之间的数据传输开销。

如果计算任务需要频繁搬运大量数据,设备之间的通信成本可能抵消部分计算加速收益。

因此,异构推理并不是把CPU和GPU简单组合起来,就一定能够获得更高效率。

SGLang等推理框架未来能否根据不同硬件特性提供更成熟的运行路径,将是值得继续观察的方向。

不过,Intel此次公告没有披露一个已经完成商业验证的CPU与GPU自动调度系统。

因此,不能将合作计划直接描述成SGLang已经能够自动把所有请求分配到成本最低的硬件上。

更准确的理解是,Intel希望通过强化软件适配,让企业拥有更多可选的计算部署方式。

Xeon与GPU服务器如何选择,不能只比较采购价格

对于IDC服务商和企业IT部门,AI推理服务器的选型通常需要考虑多个因素。

最容易被关注的是硬件采购成本。

例如,一台普通Xeon服务器可能不需要额外安装高端GPU,而专用AI服务器通常需要承担显卡、供电和散热方面的额外投入。

但CPU服务器采购成本较低,并不代表运行相同模型的总成本一定更低。

如果CPU推理速度较慢,企业可能需要部署更多服务器才能处理同样数量的请求。

这会增加机柜空间、电力、网络和日常维护成本。

反过来,如果某项AI任务规模较小、请求量不高,采购高端GPU也可能造成大量计算资源长期闲置。

因此,推理服务器的实际成本应该结合业务负载进行计算。

对于在线语言模型服务,我们建议至少关注以下指标:

指标

对实际部署的意义

首Token延迟(TTFT)

用户提交请求后等待首次输出的时间

输出Token吞吐量

模型持续生成内容的处理能力

并发请求数量

系统能够同时服务多少用户

内存或显存占用

决定模型加载及并发容量

服务器功耗

影响长期电力成本

单位Token成本

综合衡量硬件与运营投入

服务稳定性

反映长时间运行和故障恢复能力

这些指标必须在尽量一致的模型、上下文长度和并发条件下进行比较。

如果两台服务器使用不同模型、不同量化精度,或者请求长度差异较大,仅仅比较每秒Token数量,通常无法得到可靠结论。

同样,不能只根据Intel官方宣布将优化SGLang,就认为现有Xeon服务器已经可以在所有场景中获得明显的推理性能优势。

真正决定采购方案的,仍然是企业自身的模型和业务负载。

对现有Xeon服务器用户来说,现在需要升级硬件吗?

从此次公告来看,现有Xeon服务器用户没有必要因为Intel与RadixArk建立合作,就立即更换处理器。

首先,这次合作没有宣布某一代Xeon处理器停止支持,也没有提出新的强制硬件升级要求。

其次,软件优化能否发挥效果,与现有处理器是否具备相关指令集和内存能力有关。

对于支持AMX的Xeon服务器,可以重点关注SGLang后续版本中相关计算后端的变化。

对于不支持AMX的较早Xeon处理器,也并不意味着完全不能运行AI模型,只是可能无法使用部分针对新硬件设计的加速路径。

此外,SGLang的不同CPU后端功能仍然可能处于持续完善阶段,模型兼容范围和性能表现需要根据实际版本确认。

对于计划尝试CPU推理的企业,我们更建议先建立独立测试环境。

可以选择业务实际需要的模型,确认其是否支持当前Xeon平台,并测量在不同并发请求条件下的响应速度与内存占用。

如果运行结果能够满足业务需求,再考虑正式部署。

对于已经使用GPU推理的企业,则可以关注CPU侧的请求调度、数据准备以及其他系统任务是否成为瓶颈。

但这类问题应通过监控和性能分析确认,而不是仅凭CPU使用率较高就判断需要更换处理器。

在生产环境中,应用架构、推理框架配置和模型本身,往往与硬件性能同样重要。

开源推理框架正在成为AI服务器的新竞争焦点

Intel与RadixArk此次合作,也反映出AI服务器行业竞争方式正在发生变化。

过去,硬件厂商通常通过处理器核心数、GPU算力、显存容量和内存带宽等指标展示产品优势。

这些指标仍然重要,但对于实际运行的AI服务,软件能否充分利用硬件,开始变得更加关键。

例如,同样一套服务器硬件,使用不同推理框架、缓存策略和批处理配置,可能获得不同的实际吞吐量。

因此,硬件厂商不再只是提供计算设备,也开始主动参与推理框架、编译器、运行时和开源软件生态的建设。

SGLang已经支持多种计算平台,包括NVIDIA GPU、AMD Instinct、Intel Xeon和其他加速设备。

随着参与的厂商增加,推理引擎有机会在更多硬件平台之间形成共同的软件接口。

这对IDC服务商具有一定意义。

如果不同服务器平台都能够使用相同的主流推理框架,企业在选择硬件时,就可以更多地比较实际性能和运营成本,而不必完全依赖某个厂商独有的软件环境。

但开放框架能否真正降低迁移成本,还需要看不同硬件后端的功能完整性、更新速度和长期维护情况。

我们认为,未来AI服务器的竞争不仅会发生在CPU和GPU规格之间,也会体现在推理软件对硬件能力的支持程度上。

尤其是企业逐渐将AI模型用于内部办公、数据处理、客户服务和自动化任务后,稳定的软件生态可能比单次峰值性能测试更具有长期价值。

Xeon参与AI推理,真正改变的是服务器资源的使用方式

Intel于11月13日宣布与RadixArk合作优化SGLang,核心目标是进一步利用Intel CPU、GPU和其他加速器,为企业提供更加灵活的AI推理部署选择。

此次合作没有发布新的Xeon硬件产品,也尚未公布可以直接推广到所有模型的正式性能提升数据。

但从行业发展来看,它仍然具有明确意义。

随着AI应用不断进入企业生产环境,推理服务开始面临与传统服务器业务相似的问题:如何控制成本、提高资源利用率、保障持续运行,并减少软件部署和维护的复杂度。

在这个过程中,CPU并不会因为GPU承担主要模型计算而失去作用。

相反,Xeon服务器可能同时承担推理任务调度、数据处理、业务接口,以及部分适合CPU执行的模型计算。

对于已经拥有大量Xeon服务器的企业,这意味着现有计算资源有机会承担更多AI工作负载,而不必将每一项模型服务都直接迁移到专用GPU服务器。

不过,能否实现这一目标,最终仍需要依靠成熟的软件支持和实际业务验证。

A5数据认为,此次合作最值得关注的不是Intel能否通过SGLang证明CPU全面替代GPU,而是AI推理正在从单纯追求硬件算力,逐渐转向计算资源、软件框架和业务需求之间的整体优化。

对服务器用户来说,未来选择AI基础设施时,也不必简单地在Xeon与GPU之间作出非此即彼的选择。

让合适的计算任务运行在合适的硬件上,并通过成熟的推理框架降低部署和维护成本,可能比单纯追求更高的硬件规格,更能决定一套AI服务的长期使用价值。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9272.html

相关推荐