NVIDIA推出Snapshot加速GPU推理服务恢复:模型加载时间能否成为服务器扩容的新瓶颈?

GPU已经分配成功,容器也正常启动,但AI推理服务迟迟无法接收请求。
对于使用大语言模型提供API服务的企业来说,这种现象并不少见。尤其在业务访问量突然增加时,即使服务器集群还有空闲GPU,新增计算资源也不一定能够立即投入使用。
问题在于,GPU推理服务从启动到真正能够处理请求,中间还需要经历模型权重加载、运行环境初始化、CUDA内核编译及其他准备过程。
对于参数规模较大的模型,这些操作可能持续数分钟。
2026年11月10日至11日,NVIDIA在KubeCon + CloudNativeCon期间公布了AI基础设施软件的新进展,其中包括开源组件NVIDIA Snapshot。该技术通过保存已经完成初始化的GPU工作负载状态,让新启动的推理实例能够直接恢复此前的运行环境,减少重复加载模型和预热计算的时间。
根据NVIDIA公布的技术测试,Snapshot在不同模型与推理框架下,可以将工作负载恢复时间缩短至3.6至42.7秒,相较传统冷启动实现约8至36倍的速度提升。
合作伙伴Crusoe还公布了一项采用NVIDIA HGX B300的测试:GLM-5.3模型的实例就绪时间,从大约8分钟缩短至31秒。
不过,这些数字衡量的是推理实例从启动到能够提供服务的时间,并不代表模型生成Token的速度提高了36倍,也不意味着GPU本身的计算性能发生了变化。
A5数据在分析这项技术时,更关注它揭示的一个问题:
对于按需扩容的GPU服务器集群,硬件资源是否空闲,与计算资源能否立即转化为有效推理能力,已经成为两个不同的概念。
当模型初始化需要数分钟,而业务流量可能在几十秒内突然增加时,启动等待本身就可能成为影响GPU资源利用率和服务质量的新瓶颈。
从GPU可用到模型可用,中间为什么还有几分钟?
在普通Web服务中,新实例启动通常包括创建进程、读取配置、建立连接等操作。
部分应用在数秒内就可以开始处理请求。
但大语言模型推理服务的启动流程明显更加复杂。
首先,系统需要启动推理引擎,例如vLLM、SGLang或NVIDIA TensorRT LLM。
随后,程序需要读取模型权重,并将相关数据加载到GPU显存中。
对于规模较大的模型,权重可能达到数十GB,甚至数百GB。
模型加载完成后,推理引擎还需要进行运行环境初始化。
这可能包括分配KV Cache相关资源、准备运行缓冲区、初始化多GPU通信,以及根据硬件条件编译或优化计算内核。
部分推理框架还会执行CUDA Graph捕获等操作,以减少后续推理时的执行开销。
这些准备工作都可能增加启动时间。
例如,模型权重虽然已经保存在本地高速SSD中,但读取权重并不是启动过程中的唯一开销。
即使存储足够快,推理框架仍可能需要进行内存分配、计算图准备和其他初始化操作。
对于采用多GPU并行的大模型,还需要确保不同GPU之间的运行状态和通信环境保持一致。
因此,影响启动速度的并不只有硬盘读取性能。
模型冷启动是一个涉及存储、CPU、GPU显存、推理框架和运行时初始化的完整过程。
这也是为什么单纯增加GPU数量,并不一定能够解决推理服务扩容速度的问题。
NVIDIA Snapshot改变了什么?不再每次从头初始化模型
NVIDIA Snapshot并不是一种新的GPU硬件,也不是直接替代CUDA的计算技术。
它是一套面向Kubernetes GPU工作负载的检查点与恢复系统。
其核心思路是:对于已经完成初始化的推理实例,不必在每次启动新副本时重新执行全部准备工作。
系统可以先保存一个已初始化实例的运行状态。
当需要新增实例或恢复服务时,再从保存的状态中恢复计算环境。
根据NVIDIA官方技术说明,Snapshot主要提供两项操作。
Checkpoint:创建检查点。
当推理实例完成模型加载和初始化后,Snapshot可以捕获其CPU进程状态和GPU内存状态,并将相关数据保存为检查点文件。
Restore:恢复实例。
当系统需要启动新的推理副本时,可以读取此前保存的检查点,在符合兼容性要求的GPU环境中恢复实例。
这样,新副本就不必重复执行原来的模型权重加载、编译及CUDA Graph捕获等步骤。
这与传统冷启动形成了明显区别。
传统方式需要重新创建完整的推理运行环境。
Snapshot则试图重用已经准备好的环境。
需要注意,这并不意味着系统可以跳过所有启动流程。
Kubernetes仍然需要提供相应计算资源,容器运行环境也需要满足正常启动要求。
NVIDIA在技术测试中明确说明,容器镜像拉取和容器运行时准备不包含在所公布的恢复时间内。
因此,实际业务从发出扩容请求到成功处理流量,仍然可能受到服务器资源调度、镜像准备、存储和网络环境的影响。
8分钟缩短至31秒,NVIDIA公布了哪些实际测试?
此次NVIDIA公布了合作伙伴测试以及自行完成的技术基准测试。
其中,Crusoe在NVIDIA HGX B300平台上测试GLM-5.3模型。
根据公布结果,采用Snapshot后,相关推理工作负载的就绪时间由约8分钟缩短至31秒。
另一家合作伙伴Saturn Cloud则针对从零实例开始扩容的场景进行测试。
其结果显示,在指定vLLM工作负载中,启动时间从原来的2至8.5分钟,缩短至6至34秒。
NVIDIA还公布了覆盖vLLM、SGLang和TensorRT LLM的内部测试结果。
这些测试使用NVIDIA B200 GPU、指定版本的GPU驱动和VAST NFS存储系统,覆盖从较小模型到需要8张GPU共同运行的大型混合专家模型。
测试项目 | NVIDIA公布的结果 |
|---|---|
Snapshot恢复时间 | 3.6至42.7秒 |
相比冷启动 | 约8至36倍加速 |
多GPU模型规模 | 最大约1TB检查点 |
单次检查点创建 | 约15秒至5.5分钟 |
多GPU工作负载 | 最多覆盖8张GPU的测试配置 |
其中,部分大型MoE模型的传统冷启动需要6至19分钟,而Snapshot在相应测试配置下能够将恢复时间控制在43秒以内。
这些结果说明,已经完成初始化的运行环境可以通过检查点恢复机制大幅减少重复启动开销。
但必须强调,测试结果具有明确的环境限制。
首先,NVIDIA采用的是指定GPU、驱动、存储及推理框架版本。
其次,数据衡量的是NVIDIA定义的冷启动与检查点恢复阶段,并不包括完整的基础设施资源供应流程。
最后,不同模型、不同并行方式以及不同存储性能,都可能影响实际恢复时间。
因此,不能把8至36倍的加速直接理解为所有GPU服务器部署Snapshot后都能够达到相同效果。
更不能将其当作模型推理吞吐量提升8至36倍的证据。
Snapshot为什么能够跳过模型加载?关键在CPU和GPU运行状态
理解Snapshot的实际价值,需要区分模型权重文件与已经初始化的推理实例。
模型权重文件通常保存在SSD、对象存储或其他存储系统中。
它们记录了模型的参数,但并不包含推理程序完成初始化后的全部运行状态。
当推理引擎启动时,还需要将模型权重加载到GPU显存,并准备运行时需要的其他数据结构。
此外,程序可能已经完成部分计算内核编译、内存映射及执行图初始化。
这些状态并不等同于原始模型文件。
NVIDIA Snapshot的设计,就是将已经完成初始化的CPU与GPU状态保存下来,让后续实例直接恢复相关内容。
在技术实现上,Snapshot结合了Linux进程检查点恢复机制CRIU,以及GPU状态保存和恢复能力。
CRIU负责处理相应的进程状态。
GPU恢复机制则将保存的CUDA相关状态重新恢复到GPU内存。
对于多GPU推理任务,Snapshot还需要协调不同GPU之间的状态。
NVIDIA表示,该系统支持部分张量并行、数据和专家并行,以及其他符合要求的多GPU模型部署方式。
不过,这不意味着任何多GPU程序都能够直接创建检查点并在另一套硬件上恢复。
应用必须满足Snapshot的运行时兼容要求,并在检查点创建和恢复时执行相应的协调操作。
此外,官方明确要求恢复节点使用相同型号的GPU及匹配的驱动环境。
因此,Snapshot更接近一种对特定GPU工作负载进行快速复制与恢复的技术,而不是能够在所有GPU平台之间随意迁移程序的通用虚拟机快照。
GPU空转成本:为什么启动时间也需要计算?
GPU服务器的成本通常较高。
无论企业采用自购GPU服务器还是按小时租用GPU云实例,只要计算资源已经分配并开始计费,但推理服务尚未准备完成,就可能产生尚未转化为有效业务处理能力的资源占用。
对于长期稳定运行的推理服务,这部分启动成本可能只占很小比例。
例如,一个模型每天持续运行24小时,启动一次花费几分钟,通常不会对全天GPU利用率造成特别明显的影响。
但如果业务需要频繁启动和关闭实例,情况就不同了。
假设某项推理服务每天需要扩容20次,每次新增一个GPU副本。
如果每次冷启动需要5分钟,那么累计会产生100分钟的实例初始化时间。
如果在相同环境下,恢复机制能够将每次就绪时间减少到30秒,那么20次恢复累计只需要10分钟。
两者相差90分钟。
这个例子只是为了说明启动时间如何累计,并不是NVIDIA对某个实际业务给出的测试结果。
而且,节省的90分钟也不能直接等同于90分钟的GPU账单费用。
因为实际费用还受到实例计费起止时间、GPU共享方式、集群预留容量及其他服务资源占用的影响。
但从资源效率角度看,区别是明确的。
GPU资源已经投入运行,却还没有形成能够处理请求的推理能力,这段等待时间也应该纳入服务成本评估。
对于需要频繁弹性扩容的业务,降低模型启动时间可能比单纯提高单次推理速度更加重要。
扩容最怕的不是没有GPU,而是有GPU却赶不上流量变化
传统的容量规划通常根据CPU、内存或GPU利用率判断是否需要扩容。
当现有推理实例的负载达到某个阈值,系统便启动新的实例。
但GPU推理服务与普通Web应用存在一个明显差异。
新增实例可能需要较长的初始化时间。
例如,某项AI服务的请求量在短时间内快速增加。
自动扩容系统检测到流量上升后,立即申请新的GPU资源。
即使GPU服务器还有可用容量,新副本也可能需要先完成模型加载和运行环境初始化。
在此期间,新实例尚不能分担流量。
如果流量增长速度快于实例启动速度,已有推理节点就可能继续承受较高负载。
结果可能表现为请求排队增加、首Token响应时间变长,甚至出现请求超时。
这时,继续提高自动扩容触发阈值的灵敏度,也未必能够解决问题。
因为扩容系统已经做出了正确决定,只是新增实例没有足够快地进入可服务状态。
Snapshot试图缩短的,正是这一过程。
当新实例能够更快恢复,业务平台就有机会在访问量上升时及时增加推理能力。
但这并不意味着Snapshot能够解决全部扩容瓶颈。
如果集群没有足够的GPU,或者底层服务器资源需要较长时间才能交付,Snapshot无法凭空创建计算资源。
同样,如果网络入口、模型服务网关或推理调度系统本身已经成为瓶颈,缩短模型初始化时间也不一定能够直接提高整体业务吞吐。
因此,判断Snapshot是否值得部署,首先要确认业务是否真正受到冷启动时间限制。
Snapshot恢复速度很快,但检查点本身并不小
从NVIDIA公布的数据来看,Snapshot的一个重要成本是检查点文件的容量。
因为它保存的不只是模型权重文件,还可能包含已经初始化的CPU和GPU运行状态。
例如,部分大型MoE模型在8张GPU上形成的检查点容量可达到600GB至1TB左右。
这意味着,虽然恢复过程可以跳过重复初始化,但仍然需要从存储系统读取大量数据,并恢复到目标计算资源中。
因此,存储性能成为影响恢复速度的重要因素。
NVIDIA的测试数据显示,在8张GPU的大模型恢复过程中,仅GPU状态恢复阶段就可能需要18至29秒。
相比之下,CRIU恢复CPU进程状态所需时间约为4.2至10.8秒。
这说明,当模型检查点规模增加时,将GPU状态重新装入显存可能成为恢复过程中最主要的耗时环节。
对GPU服务器意味着什么?
首先,检查点需要占用额外存储空间。
如果企业为多个模型、多个版本及不同GPU配置分别保存检查点,存储容量需求可能持续增加。
其次,检查点存储系统需要具备相应的读取能力。
如果多个推理实例同时恢复,并且需要读取相同的大型检查点,就可能给共享存储带来较高的读取压力。
此外,网络也可能影响恢复表现。
如果检查点存放在远程共享存储中,网络带宽和延迟同样会影响数据传输效率。
因此,Snapshot并不是单纯通过软件优化就完全消除了模型加载成本。
更准确地说,它将部分重复计算和初始化工作转变为检查点保存与恢复流程。
这种方式在特定场景下能够显著降低启动时间,但也需要存储系统配合。
对A5数据关注的GPU服务器和IDC基础设施而言,这一点值得重视。
当GPU集群规模扩大后,影响服务扩容效率的因素不只有显卡算力和显存容量。
高速共享存储、网络吞吐及模型状态管理,也可能成为需要重点投资的基础设施能力。
已经保存的检查点,能否跨GPU服务器随意使用?
Snapshot提供恢复功能,但其兼容性要求需要特别注意。
根据NVIDIA官方说明,恢复目标应当使用相同GPU型号及相应驱动环境。
这意味着,不能简单认为在B200上创建的检查点,就一定能够直接恢复到其他型号的GPU服务器。
类似地,不同推理框架、模型版本和运行配置,也可能需要分别创建检查点。
如果企业升级了模型权重、推理引擎或相关运行时组件,就应该重新验证原有检查点是否仍然适用。
对于采用Kubernetes管理的GPU集群,Snapshot通过自定义资源来协调检查点创建与恢复。
例如,系统可以针对运行中的Pod创建PodSnapshot,或者使用SnapshotJob在工作负载完成初始化后生成检查点。
恢复新Pod时,则可以通过相应注解指定需要使用的检查点。
不过,这不等于所有已有Kubernetes GPU应用都无需修改即可接入。
NVIDIA说明,工作负载仍然需要支持检查点前暂停及恢复后的必要协调操作。
目前官方提供了面向vLLM、SGLang和TensorRT LLM的示例。
对于其他推理框架或自定义CUDA程序,需要进一步确认是否具备实际兼容性。
另外,检查点文件可能包含模型参数及运行时数据。
如果其中涉及商业模型权重或其他敏感信息,企业还需要对检查点存储实施访问控制、加密和生命周期管理。
不能因为检查点只是用于加速启动,就忽略其可能承载的数据安全责任。
Snapshot是否能够替代长期运行的备用GPU实例?
对于需要高可用性的GPU推理服务,一种常见做法是预先运行备用实例。
当某个推理节点发生故障时,备用实例可以及时接管流量。
这种方式能够缩短恢复时间,但代价是备用计算资源可能长期处于较低利用率状态。
如果企业需要为多个模型分别保留备用GPU实例,总体资源成本可能较高。
Snapshot提供了另一种思路。
企业可以提前完成模型初始化,并保存相应检查点。
当需要增加推理副本或恢复故障服务时,再使用检查点快速启动新的实例。
这样就有机会减少部分长期运行的备用推理实例。
但是,Snapshot并不一定能够完全代替热备用方案。
对于要求极低恢复时间的业务,即使30秒的恢复等待也可能过长。
而且,如果底层GPU节点本身发生故障,平台还需要确认是否有其他兼容GPU可以接收恢复任务。
如果没有可用资源,检查点文件即使完整保存,也无法立即恢复服务。
因此,是否使用Snapshot替代部分备用实例,需要根据业务恢复时间目标决定。
对要求持续低延迟的核心业务,可以继续保留一定规模的热备用能力。
对允许短时间恢复等待、但希望降低GPU资源预留成本的业务,Snapshot可能具有更高价值。
这种差异化设计,可能比完全依赖某一种恢复方式更加合理。
Snapshot与GPU显存优化有什么区别?
近期NVIDIA围绕AI推理发布了多项技术更新,涉及模型部署、显存管理、KV Cache及运行时效率。
这些技术都可能改善GPU资源利用,但解决的问题并不相同。
例如,KV Cache优化主要关注模型推理过程中,如何管理和复用已经计算的注意力相关数据。
它可能帮助系统减少重复计算,或者改善并发请求下的显存使用效率。
而Snapshot关注的是推理实例从尚未准备完成,到能够接收请求之间的启动和恢复过程。
其核心目标不是让单次Token计算变得更快,而是减少重复初始化带来的等待。
值得注意的是,NVIDIA在Snapshot基准测试中表示,创建检查点前会释放KV Cache相关资源,因此这部分缓存内容不会包含在保存的检查点中。
这也说明,Snapshot并不是直接把所有正在进行的用户请求及其上下文无条件保存,然后在另一台服务器上继续执行。
实际使用时,仍然需要根据业务特点处理请求状态和恢复流程。
A5数据认为,这种区别对于GPU服务器用户尤其重要。
有些优化针对正在运行的模型,提高单位时间能够处理的请求数量。
另一些优化针对服务启动和资源调度,提高GPU投入业务的速度。
两类优化都可能影响资源效率,但不能使用相同的性能指标评价。
对GPU服务器租用业务,有哪些实际影响?
对于提供GPU服务器租用、AI推理平台及模型API服务的IDC企业,Snapshot的价值可能体现在不同层面。
首先是按需模型部署。
如果客户需要在相同GPU型号和软件环境中频繁启动某个模型,平台可以评估提前生成检查点,减少重复初始化开销。
其次是弹性资源分配。
对于访问量存在明显高峰和低谷的业务,平台可以尝试在需求下降时释放部分推理计算资源,在需求增加时快速恢复。
这样有机会减少GPU长期空闲的时间。
第三是故障恢复。
当某个推理副本异常退出时,如果平台仍然拥有兼容的GPU资源,就可以尝试从检查点恢复实例,减少重新加载模型所需的时间。
但这些收益都需要结合实际部署条件评估。
例如,一项长期稳定满载的推理业务,本身很少需要重启或扩容。
即使Snapshot能够将启动时间从几分钟缩短至几十秒,对该业务长期GPU利用率的影响也可能有限。
相反,对于频繁启动、扩容和回收资源的模型服务,启动优化可能具有更明显的经济价值。
此外,GPU服务器服务商还需要评估检查点存储成本。
如果客户使用的模型数量很多,每个模型又具有多个不同版本和配置,那么维护检查点可能增加存储容量和管理复杂度。
因此,Snapshot更适合被视为一种GPU基础设施调度与恢复能力,而不是所有GPU服务器都必须部署的新功能。
企业如何判断自己是否需要Snapshot?
在真正部署Snapshot之前,最重要的不是立即安装组件,而是先确认模型启动时间是否已经影响业务。
对于使用Kubernetes、vLLM或其他推理框架的企业,可以从现有监控数据中寻找答案。
例如,记录自动扩容发起时间、Pod创建时间、模型初始化完成时间,以及实例真正开始接收请求的时间。
通过这些数据,可以区分资源调度、容器启动、模型加载和推理框架初始化分别消耗了多少时间。
如果业务的主要问题是模型初始化缓慢,而GPU资源可以及时分配,那么Snapshot可能具有明显价值。
但如果大部分等待时间来自GPU资源不足、容器镜像下载或远程存储拥塞,就需要先解决相应问题。
另外,应该结合实际模型测试检查点创建和恢复成本。
例如,比较一次正常冷启动与一次Snapshot恢复之间的耗时,并记录对应的检查点大小。
还应关注多个实例同时恢复时,共享存储和网络是否出现瓶颈。
对于大规模GPU集群,单实例恢复很快,不代表几十个实例同时恢复也能够保持相同速度。
企业还需要验证恢复后推理结果、显存占用、服务健康检查及业务请求处理是否正常。
只有在这些条件得到确认之后,才能判断Snapshot是否真正改善了整体服务效率。
GPU资源利用率,不能只看显卡使用率
在日常GPU服务器监控中,GPU Utilization经常被视为判断资源是否得到充分利用的主要指标。
但这一指标并不能完整反映AI推理平台的运营效率。
例如,一台GPU服务器可能已经分配给某个客户,但模型正在加载,此时显卡并没有处理实际业务请求。
另一台服务器可能正在运行推理模型,但由于业务访问量较低,GPU利用率长期不高。
还有一种情况是,GPU计算利用率看起来正常,但用户请求因为队列积压而出现较长等待。
这些情况都说明,GPU利用率需要结合业务指标一起判断。
对于AI推理平台,更有价值的监控指标可能包括:
实例从申请到进入可服务状态的总时间。
模型冷启动与检查点恢复所需时间。
GPU资源被分配后,实际用于处理推理请求的时间。
每秒完成的请求量与Token吞吐。
首Token延迟、请求排队时间及超时比例。
单位请求或单位Token对应的计算资源成本。
其中,Snapshot重点改善的是推理实例进入可服务状态的时间。
如果这一阶段原本占用了大量资源等待时间,那么缩短它就有机会改善资源周转效率。
但它不一定直接提升推理实例在稳定运行状态下的Token吞吐。
这也是为什么报道此类技术时,需要避免将启动加速误写成模型性能提升。
从模型加载到实例恢复,GPU基础设施正在出现新的优化方向
NVIDIA此次推出Snapshot,实际上反映了AI推理基础设施的一项变化。
随着模型规模扩大,GPU硬件本身虽然越来越强,但模型运行环境的准备过程也变得越来越复杂。
权重加载、显存分配、计算内核编译及多GPU初始化,都可能影响模型服务的响应能力。
对于长期运行的推理任务,这些初始化成本可能并不突出。
但对于需要按需启动、频繁扩容和故障恢复的AI服务,几分钟的等待可能已经成为影响业务体验的重要因素。
Snapshot试图通过保存已初始化状态,将过去需要重复执行的准备工作转变为可以复用的检查点。
根据NVIDIA公布的数据,在指定B200和B300平台、推理框架及存储条件下,这种方式能够将部分模型的启动等待从数分钟缩短至几十秒。
但它也引入了新的技术要求。
检查点可能占用数百GB甚至约1TB存储空间,恢复过程仍然需要足够的存储吞吐,并受到GPU型号、驱动及运行环境兼容性的限制。
因此,Snapshot并不是消除了模型启动成本,而是改变了这些成本发生的位置与方式。
从A5数据关注的服务器基础设施角度来看,这项技术真正值得关注的地方,是GPU资源效率开始从单纯的计算性能竞争,延伸到服务整个生命周期的管理。
一张GPU能够多快完成计算固然重要,但一张已经分配的GPU需要多久才能开始执行有效业务,同样值得关注。
对于提供AI推理服务的企业,如果扩容主要受模型冷启动限制,Snapshot可能带来明显改善。
如果业务一直稳定运行,或者主要瓶颈来自GPU算力不足,那么它所产生的价值可能相对有限。
未来衡量GPU服务器的实际效率,不能只看显卡在运行时能够生成多少Token,还需要看计算资源从被申请、准备到真正投入服务,需要经历多少等待和重复工作。
NVIDIA Snapshot并没有让GPU本身变得更快,却让业界开始重新审视一个过去容易被忽略的成本:昂贵的GPU资源已经准备好,但模型服务尚未就绪的那段时间。
对于越来越依赖弹性调度的AI推理平台,这段时间可能正成为下一阶段值得重点优化的基础设施瓶颈。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8885.html



