GPU推理批处理大小如何影响吞吐与响应延迟,怎样找到合适区间

发布人:A5数据发布时间:2026-10-21 14:34阅读量:111

GPU推理中,批处理大小调得越大,并不意味着吞吐一定越高。批次增大后,GPU可以在一次计算中处理更多样本,通常能减少单请求固定开销并提升计算利用率;但同时也会增加组批等待、显存占用和单批执行时间。当GPU计算接近饱和后,继续增大批次往往只能带来很小的吞吐增益,却明显推高P95、P99响应延迟。

合适的批处理区间,应当由业务SLO和吞吐拐点共同决定:在线推理优先选择满足P95/P99延迟、错误率和显存安全边界的最大批次;离线任务则可以在不超出显存和任务时限的前提下,选择吞吐接近平台期的批次。GPU利用率、显存占用率和单次推理耗时都只能作为辅助指标,不能单独决定批处理大小。

围绕AI推理与模型测试场景,A5数据提供香港、美国等地区的GPU物理服务器,配备A100 80GB、RTX 4090等显卡选项,并结合服务器CPU、内存与NVMe存储资源,为批处理推理、图像处理和多任务计算提供硬件基础。香港GPU产品可选CN2线路,美国GPU产品提供三网直连回国或国际带宽方案,便于根据业务访问区域、模型运行和数据传输需求组织相应的推理资源。

先确定测试目标:优化响应还是单位时间处理量

同一台GPU服务器、同一个模型,在不同业务负载下可能对应不同的批处理答案。在线接口、异步任务和离线推理的判断标准并不相同,测试前要先明确“性能好”的定义。

在线推理:先守住延迟SLO

在线请求通常关注以下约束:

  • P95或P99响应延迟不能超过业务上限;
  • 在峰值并发下,请求队列不能持续增长;
  • 错误率、超时率和显存溢出风险处于可接受范围;
  • 在满足上述条件时,吞吐尽可能高。

例如,图像分类接口要求P95不超过80毫秒,P99不超过150毫秒,那么批处理大小不能只按照GPU利用率最高来选择。如果批次从8增加到16后,GPU利用率从86%升到94%,但P99从120毫秒升到260毫秒,这个批次对该在线接口就已经越过了决策边界。

离线推理:优先看稳定吞吐和完成时间

离线任务通常不要求每个样本都在几十毫秒内返回,更关心:

  • 每秒处理多少请求或样本;
  • 处理固定数据集需要多长时间;
  • GPU是否持续有工作;
  • 是否因为显存不足导致频繁重试或任务中断;
  • CPU、存储和数据读取能否持续供给GPU。

离线推理中,批次从32增加到64后,如果吞吐只增加2%,但显存占用接近上限,通常没有必要继续增大。此时应优先选择吞吐曲线已经趋于平坦、显存仍有余量的批次。

混合负载:分别定义在线和离线边界

同一台GPU服务器同时承载实时接口和批量任务时,不能用离线吞吐测试结果直接配置在线服务。离线任务可能持续占满计算资源,使在线请求出现排队;在线动态组批又可能改变离线任务的实际批次。

更稳妥的做法是分别记录两组边界:

  • 在线服务:最大允许P95/P99延迟、最大队列等待时间和可接受吞吐;
  • 离线任务:最低吞吐、最大任务时长和可接受资源占用。

如果两类任务不能在同一GPU上稳定满足要求,应通过GPU隔离、独立实例或不同时间段调度解决,而不是简单地把批处理大小固定在一个折中值。

指标含义:不要只看GPU利用率

批处理大小影响的是一组相互关联的指标。测试时至少要同时采集延迟、吞吐、并发、GPU、CPU、内存、显存和I/O。

延迟要拆成总延迟、排队延迟和计算延迟

一次请求的端到端延迟可以近似拆分为:

总延迟 = 网络与服务处理延迟 + 组批等待时间 + GPU推理时间 + 后处理时间

其中,组批等待时间在动态批处理中尤其重要。服务为了凑够一个批次,可能让先到达的请求等待几毫秒;负载较低时,批次很难快速凑满,等待时间甚至会超过GPU实际计算时间。

建议至少观察以下分位数:

  • 平均延迟:用于观察整体趋势,但容易掩盖长尾;
  • P50:代表中位请求体验;
  • P95:适合判断大多数请求是否达到SLO;
  • P99:用于发现排队、显存压力和资源争用带来的长尾。

例如,某批次的平均延迟为25毫秒、P95为46毫秒、P99为180毫秒,不能简单地说“平均延迟很好”。P99明显偏高,说明部分请求可能经历了较长排队、批次等待或CPU后处理阻塞。

吞吐要明确单位和统计对象

吞吐通常表示为:

吞吐 = 统计周期内成功完成的请求数 ÷ 统计周期秒数

可以用req/s、samples/s或tokens/s表示,但三者不能混用。

  • 图像分类更适合看samples/s或req/s;
  • 文本编码可以同时看req/s和tokens/s;
  • 大语言模型生成通常要区分输入tokens/s、输出tokens/s、首Token时间和每Token生成时间。

如果某模型每次请求包含不同数量的图片、文本或Token,仅比较req/s可能得出错误结论。例如,批次8处理固定长度输入时达到160 req/s,但批次4处理更长输入时只有90 req/s,两者不能直接说明批次8一定更高效。

并发决定批次能否真正形成

批处理大小是一次计算中包含的请求数量,并发是系统中同时处于处理或等待状态的请求数量。两者有关,但不是同一个指标。

当并发低于批次上限时,动态批处理可能长期形成不了目标批次。例如配置最大批次为16,但实际并发只有3,GPU每轮可能只处理1至3个请求。此时把最大批次继续调大没有意义,反而可能增加等待超时。

可以利用排队关系做一个粗略校验:

平均在途请求数 ≈ 吞吐 × 平均响应时间

例如,服务吞吐为180 req/s,平均响应时间为40毫秒,即0.04秒,则平均在途请求数约为:

180 × 0.04 = 7.2个请求

这并不代表必须设置批次为8,因为在途请求还包含排队请求、执行中的请求和不同阶段的请求,但它可以帮助判断批次上限是否明显高于实际并发。

GPU指标要观察“是否有用地忙碌”

常见监控指标包括:

  • GPU计算利用率;
  • Tensor Core或计算单元利用率;
  • 显存已用容量;
  • 显存带宽;
  • 功耗、温度和降频状态;
  • GPU到CPU或GPU之间的数据传输情况。

GPU利用率从60%升到90%,通常说明批次增大后计算资源得到了更充分使用,但不能据此判定响应性能更好。如果利用率已经在85%至95%之间,吞吐增长开始趋于平缓,继续增大批次可能主要增加排队和长尾。

显存利用率同样不能等同于性能。权重可能只占用固定空间,而激活值、临时张量、输入长度和输出缓存会随批次变化。显存占用达到90%以上时,短时间内看似仍能运行,但动态形状、请求长度波动或框架内存碎片可能使部分请求触发分配失败。

CPU、内存和I/O可能掩盖GPU瓶颈

GPU推理链路通常包括数据解码、预处理、Host到Device传输、GPU计算、Device到Host传输和后处理。以下情况会让GPU批次测试失真:

  • CPU预处理线程不足,GPU等待输入;
  • Python或业务层串行处理,GPU无法连续获得任务;
  • 内存带宽不足,图像解码和数据拷贝成为瓶颈;
  • 容器内存不足,出现回收或交换;
  • 模型首次加载、缓存读取或数据集读取拖慢测试;
  • 后处理耗时随批次增加,抵消GPU计算收益;
  • 多个GPU工作进程争用同一块CPU或同一条PCIe通道。

如果GPU利用率只有45%,同时某个CPU核心长期接近100%,优先排查预处理或调度线程,而不是马上增大批次。增大批次可能只是让单次等待时间更长,并不能解决CPU供给不足。

影响批处理效果的主要变量

批处理大小不是独立参数。模型、输入形状、并发模式、框架调度方式和硬件拓扑都会改变最合适的范围。

模型计算类型

卷积、矩阵乘法密集型模型通常能从更大的批次中获得较明显收益,因为固定启动开销可以被更多样本摊薄。小型模型则可能在批次较小时就受到CPU调度、内存拷贝或框架调用开销限制。

对于显存敏感的模型,批次增大可能受到激活值限制。可用显存不能简单按“显存总量减去权重”计算,还要预留运行时缓存、CUDA上下文、框架内存池和输入输出缓冲区。

一个更稳妥的工程边界是:不要把长期运行批次配置在压测时的显存极限上。在线服务通常应预留约10%至20%的显存余量,具体比例取决于输入长度波动、框架内存管理方式和是否存在多个模型实例。

输入尺寸和动态形状

固定尺寸输入更容易形成稳定批次。例如,224×224图像的批处理结果通常比从128×128到2048×2048混合输入更容易预测。

动态形状会带来两个问题:

  1. 不同形状的请求可能无法直接合并,实际批次小于配置上限;
  2. 更大的输入会增加激活值、计算量和显存占用,使同一批次中请求的执行时间差异增大。

如果服务支持多种图像尺寸或文本长度,可以按形状、长度区间或模型分支拆分队列。例如将文本按Token长度分为短、中、长三类,分别设置批次上限,通常比所有请求共用一个最大批次更容易控制长尾。

固定批处理与动态批处理

固定批处理要求调用方凑够指定数量后再执行,适合离线数据处理,但在线场景可能产生明显等待。

动态批处理通常设置两个核心参数:

  • 最大批次大小;
  • 最大组批等待时间。

最大批次决定单轮最多合并多少请求,最大等待时间决定即使没有凑满批次,也要在多久后发起推理。二者需要同时测试。

例如,最大批次设置为16,最大等待时间设置为10毫秒,在高并发时可能经常形成16个请求;在低并发时可能每隔10毫秒处理一个只有2至4个请求的批次。此时实际性能不应只按“最大批次16”评估,而要记录实际批次分布。

精度和推理框架

FP32、FP16、BF16、INT8等精度会改变计算吞吐和显存占用,但不能假设低精度一定让所有模型按相同比例提升。模型是否支持对应算子、量化校准质量、输入输出转换和框架优化都会影响结果。

批处理比较时,应固定以下条件:

  • 模型权重和版本;
  • 推理精度;
  • GPU型号和数量;
  • 推理框架及关键运行参数;
  • 输入尺寸、文本长度和输出长度;
  • CPU线程数与数据预处理方式。

否则,批次变化带来的影响可能被其他变量掩盖。

如何组织一次可比较的批次测试

测试不需要一开始覆盖几十个批次,先用间隔较大的点找到性能拐点,再在拐点附近细化即可。

第一步:建立稳定的测试输入

在线模型应使用接近生产的请求比例,而不是只使用最简单输入。至少准备:

  • 常见输入;
  • 较长或较大输入;
  • 接近业务上限的输入;
  • 多种输入混合的请求流。

如果模型输入长度变化很大,建议分别记录短输入、中等输入和长输入的结果。只用平均输入测试,容易低估生产环境中的P99延迟和显存峰值。

第二步:先预热,再进入统计窗口

模型加载、CUDA上下文创建、内存池初始化和内核缓存建立都会影响前几次请求。测试时应先发送一段预热流,待延迟和显存占用趋于稳定后再统计。

示例测试流程可以是:

  1. 固定模型、精度、输入分布和GPU配置;
  2. 预热5至10分钟,或持续到连续几个窗口的指标变化较小;
  3. 依次测试批次1、2、4、8、16、32;
  4. 每个批次至少保持数分钟,并覆盖低、中、高并发;
  5. 记录吞吐、P50/P95/P99、排队时间、实际批次、显存和CPU指标;
  6. 在吞吐拐点附近补测,例如批次8、10、12、16;
  7. 使用相同测试顺序或随机化顺序,减少温度、缓存和资源残留影响。

每个批次的测试时间需要足够长,不能只根据几十个请求得出结论。对于P99,样本量过小时,结果会明显不稳定。生产流量较低时,可以通过持续压测增加统计样本,但必须确保压测流量符合实际请求分布。

第三步:逐步增加并发,而不是只改变批次

如果只在固定并发下比较批次,可能得到片面的结论。建议对每个批次测试多个并发水平,例如低并发、目标并发和峰值并发。

一个用于说明趋势的示例数据如下。数据为模拟参考值,假设输入尺寸固定、最大等待时间为5毫秒,延迟包含排队和推理时间:

最大批次吞吐(req/s)P50(ms)P95(ms)P99(ms)显存占用GPU利用率
1581624355.2 GB48%
21031827395.8 GB65%
41712234496.7 GB79%
82182946688.1 GB88%
16231437912810.9 GB93%
322347615127615.4 GB95%

从这组示例可以看到,批次从1增加到8时,吞吐增长明显;从8增加到16时,吞吐只增加约6%,但P99接近翻倍;从16增加到32时,吞吐几乎不再提升,延迟和显存压力却继续增加。

如何组织一次可比较的批次测试配图

如果在线接口的要求是P95不超过80毫秒、P99不超过150毫秒,那么批次16仍可能处于边界内,但还要考虑生产输入波动和资源余量;批次32已经不适合作为默认值。如果要求P99不超过100毫秒,批次8更稳妥。

第四步:记录实际批次和排队时间

配置的最大批次不等于实际批次。建议增加以下监控或日志字段:

  • 请求进入时间;
  • 开始组批时间;
  • 实际批次大小;
  • GPU执行开始和结束时间;
  • 响应返回时间;
  • 队列深度;
  • 超时和取消数量。

如果最大批次为16,但实际批次平均只有3.5,说明流量或并发不足,测试结果主要反映低负载组批行为。此时应分别测试更高并发,或者降低最大等待时间,以判断在线场景的实际收益。

如何解释常见测试结果

吞吐增加,延迟也增加:看增加是否值得

这是批处理调优中最常见的情况。批次增大往往会提高吞吐,但吞吐收益和延迟代价不一定成比例。

可以计算边际收益:

吞吐增幅 = 新批次吞吐 ÷ 旧批次吞吐 - 1

如果批次从8变为16,吞吐从218 req/s升到231 req/s,增幅约为:

231 ÷ 218 - 1 ≈ 6.0%

而P99从68毫秒升到128毫秒,增幅约为88%。对有严格延迟SLO的在线服务,这种交换通常不划算。

GPU利用率高,但吞吐不再增长

这通常说明GPU已经接近计算或显存带宽上限,也可能说明后处理、数据传输或其他阶段成为瓶颈。需要结合以下指标判断:

  • GPU计算利用率高、显存带宽接近上限:可能是GPU计算或带宽瓶颈;
  • GPU利用率高、显存占用接近上限:批次受显存边界限制;
  • GPU利用率低、CPU单核满载:预处理或调度瓶颈;
  • GPU利用率波动大、队列时有时无:请求流不稳定或组批等待参数不合适;
  • GPU利用率高但P99突然升高:可能存在排队、资源争用或热降频。

因此,“GPU达到95%利用率”只能说明设备很忙,不能说明系统已经达到最优。

吞吐没有增长,CPU却明显升高

批次增大后,单轮推理返回的数据量也可能增大,后处理、序列化和网络发送压力随之增加。对于检测、分割或生成任务,输出结果可能远大于输入,CPU和内存复制会成为新的瓶颈。

如果GPU利用率没有明显增加,但CPU利用率从55%升到90%,应检查:

  • 预处理和后处理是否按请求串行执行;
  • 是否发生频繁的Host与Device数据拷贝;
  • 是否存在不必要的格式转换;
  • 工作进程和线程数是否过少或过多;
  • 是否因为大批次造成响应对象集中回收和序列化。

这种情况下,继续增大批次通常不能改善整体吞吐,甚至会推高尾延迟。

平均延迟稳定,但P99快速恶化

这往往是队列开始积压的信号。平均请求仍能较快完成,但少数请求会等待多个批次,导致长尾大幅增加。

可以检查:

  • 排队时间是否占总延迟比例上升;
  • 队列深度是否在高并发时持续增长;
  • 实际批次是否经常达到上限;
  • 是否存在长输入请求拖慢整个批次;
  • CPU、显存和I/O是否出现周期性抖动。

在线服务应优先根据P95和P99设置上限,而不是以平均延迟为依据。

针对大语言模型,批次还要看Token维度

大语言模型的批处理不能只用“请求数”描述。不同请求的输入长度、输出长度和生成阶段差异很大,通常需要区分以下指标:

  • TTFT:Time to First Token,首Token延迟;
  • TPOT:Time Per Output Token,每个输出Token的生成时间;
  • 输入Tokens/s;
  • 输出Tokens/s;
  • 在途序列数;
  • KV Cache占用;
  • 每轮最大Token数。

在预填充阶段,输入Token较多,批次扩大可能明显提高计算吞吐;在解码阶段,每个序列每轮只生成少量Token,但KV Cache占用和在途序列数会影响显存与调度。此时“批次16”与“每轮最多处理8192个Token”是两种不同的限制,不能只调其中一个。

对于支持连续批处理的推理框架,新的请求可以在已有序列生成期间加入批次。测试时应分别观察:

  • 短请求在长请求混合流中的TTFT;
  • 输出Token长度增加后TPOT是否恶化;
  • KV Cache达到高水位后的P99;
  • 最大并发序列数和显存安全余量。

如果业务更关心首Token响应,应该优先限制预填充排队和TTFT;如果业务更关心整体生成速度,则要同时考察输出Tokens/s和TPOT。不能用图像模型中的“samples/s”方法直接评价生成模型。

决策边界:怎样选出合适区间

批次选择可以采用“先满足约束,再比较收益”的顺序。

在线服务的选择规则

建议按以下顺序筛选:

  1. 删除超过P95或P99延迟SLO的批次;
  2. 删除显存峰值过高、没有生产余量的批次;
  3. 删除错误率、超时率或队列持续增长的批次;
  4. 在剩余批次中选择吞吐更高者;
  5. 如果相邻批次吞吐差异小于约5%至10%,优先选择延迟更低、余量更大的批次。

例如,批次8吞吐218 req/s、P99为68毫秒,批次16吞吐231 req/s、P99为128毫秒。如果SLO是P99不超过150毫秒,二者都可能合格,但批次16只多提供约6%的吞吐,换来更高的延迟和显存占用。在线服务通常可以先选批次8,再通过容量扩展解决峰值压力。

离线任务的选择规则

离线任务可以寻找吞吐平台区:

  • 批次增加后吞吐仍有明显增长,继续测试;
  • 吞吐增幅降至约5%以内,记录为拐点;
  • 如果显存、温度、功耗或任务时长没有异常,可选择拐点附近较大的批次;
  • 如果更大批次只增加少量吞吐,却显著增加OOM风险,应退回前一个批次。

离线任务也不宜长期运行在显存极限。输入形状波动、框架内存池和多个任务并行都会让压测时的临界值变得不可靠。

动态批处理的推荐判断方式

动态批处理建议同时设置最大批次和最大等待时间,并分别观察高低负载:

  • 低负载下,降低等待时间,避免请求为了凑批而延迟;
  • 高负载下,观察实际批次是否稳定达到上限;
  • 如果高负载时队列持续增长,降低批次或增加GPU容量;
  • 如果GPU利用率低且实际批次很小,可以适当增加等待时间,但必须重新检查P99;
  • 如果批次已接近平台期,优先缩短等待时间,而不是继续增大最大批次。

最大等待时间往往对低并发延迟影响更直接,最大批次则更多影响高并发吞吐。两者应作为一组参数调优。

用容量计算验证最终配置

选定批次后,还需要把单GPU吞吐转换为容量判断。假设峰值流量为420 req/s,批次8在满足延迟SLO时的可持续吞吐为170 req/s,并预留25%容量余量,则按以下估算:

有效单GPU容量 = 170 ×(1 - 25%)= 127.5 req/s

所需GPU数量为:

420 ÷ 127.5 ≈ 3.29

向上取整后,需要至少4个同等推理实例或GPU资源单元。这个结果还应在真实部署中复核,因为网络、负载均衡、模型副本、跨GPU调度和多租户争用会带来额外开销。

如果批次16的单GPU吞吐为180 req/s,但P99已经接近SLO上限,不能直接用180 req/s做容量基准。容量测试应使用“满足SLO、队列稳定、显存有余量”时的可持续吞吐,而不是压测曲线上的理论峰值。

复测条件与上线前检查

批处理参数不是一次设置后永久不变。模型版本、输入长度、精度、GPU型号、并发模式或业务峰值发生变化,都可能改变合适区间。

上线前至少复核以下条件:

  • GPU型号、显存容量和驱动环境与生产一致;
  • 模型版本、推理框架和精度与生产一致;
  • 测试输入分布覆盖常见值和高负载值;
  • 低并发、高并发和峰值并发均已测试;
  • P50、P95、P99和排队时间均在目标内;
  • 实际批次分布与最大批次配置相符;
  • 显存峰值仍有余量,没有持续增长;
  • CPU、系统内存、网络和存储没有成为隐藏瓶颈;
  • 连续运行一段时间后,吞吐、温度、功耗和延迟没有持续恶化。

实际配置可以先选择性能曲线拐点前一个批次作为保守值,再根据生产监控逐步调整。对于在线GPU推理,稳定的P99、可控的队列和显存余量通常比一组短时压测中的峰值吞吐更有价值。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4994.html

相关推荐