虚拟机CPU Ready持续升高说明什么?怎样结合宿主机负载判断影响

发布人:A5数据发布时间:2026-10-23 14:47阅读量:92

CPU Ready持续升高,首先说明虚拟机的虚拟CPU曾经处于“已经准备运行、但暂时没有拿到物理CPU”的状态。它通常与宿主机或集群CPU竞争有关,但不能仅凭一个数值断定虚拟机已经受到明显影响。只有当CPU Ready升高与业务延迟增加、吞吐下降或并发处理能力变差发生在同一时间,并且宿主机存在可验证的调度压力时,才可以把它视为性能瓶颈的重要证据。

判断影响时,应把CPU Ready与至少三组指标放在同一时间轴上观察:虚拟机实际获得的CPU使用率、宿主机及集群的CPU调度压力、业务侧的延迟与吞吐。CPU Ready高而业务无感,可能只是短时调度等待;CPU Ready只有3%左右,但对毫秒级延迟业务已经可能产生影响;反过来,宿主机CPU达到90%,如果目标虚拟机没有等待CPU,业务问题也未必由CPU资源引起。

在需要进一步梳理CPU资源边界的业务场景中,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon与AMD EPYC等计算平台,并配备DDR5内存、SSD或NVMe存储及不同带宽线路,可为数据库、业务后台、接口服务和多任务计算提供相对独立的物理计算与存储基础,便于结合业务负载规划承载环境。

一、先明确测试目标:判断“等待CPU”是否已经转化为业务损失

测试目标不是证明CPU Ready数值越低越好,而是回答两个问题:

  1. 虚拟机是否因为调度等待,不能及时执行已经准备好的任务?
  2. 这种等待是否已经影响业务的延迟、吞吐或并发能力?

因此,测试前需要固定观察对象和时间范围。建议至少记录以下内容:

  • 虚拟机CPU Ready或等价的调度等待指标;
  • 虚拟机CPU使用率,以及每个vCPU的使用率;
  • 宿主机整体CPU使用率、每个逻辑CPU利用率、运行队列或调度压力;
  • 同一宿主机、资源池或集群中其他虚拟机的CPU消耗;
  • 虚拟机内存回收、交换、气球驱动等内存压力指标;
  • 磁盘I/O延迟、网络延迟、应用线程池排队情况;
  • 业务请求量、并发数、平均延迟、P95或P99延迟、错误率和吞吐。

观察时间不宜直接使用一天的平均值。全天平均可能只有2%,但在交易提交、批量计算或流量峰值期间持续达到12%,这类峰值更能解释业务体验。一般可以采用以下观察方式:

  • 普通业务:以1分钟或5分钟为采样粒度,连续观察15至30分钟;
  • 有明显流量峰值的业务:单独截取峰值前、峰值中和峰值后的时间段;
  • 对延迟敏感的业务:保留P95、P99延迟,不能只看平均延迟;
  • 需要判断容量趋势的场景:对比多个相同业务周期,而不是只看一次异常。

如果没有业务侧指标,CPU Ready只能说明调度状态,不能直接说明业务影响。

二、CPU Ready到底表示什么

1. 它表示“想运行但尚未被调度”

虚拟机中的线程要运行,通常要先由虚拟CPU承接。虚拟CPU已经处于可运行状态,但虚拟化调度器暂时没有把它安排到物理CPU上执行,这段等待时间就会体现在CPU Ready中。

可以用下面的关系理解:

CPU Ready比例 = 虚拟CPU等待物理CPU调度的时间 ÷ 观察时间 × 100%

例如,某个vCPU在10分钟观察窗口内累计等待36秒:

  • 观察时间:600秒;
  • 等待时间:36秒;
  • CPU Ready比例:36 ÷ 600 × 100% = 6%。

这并不等于该vCPU有6%的时间完全停止,也不等于业务吞吐必然下降6%。它说明在这段时间内,vCPU存在调度等待,最终影响取决于任务是否对时延敏感、等待是否集中发生,以及应用是否有其他可运行线程。

2. CPU Ready不是虚拟机CPU使用率

虚拟机CPU使用率反映的是虚拟CPU已经获得并执行了多少计算时间,CPU Ready反映的是虚拟CPU想执行但没有及时获得物理CPU的时间。两者可能同时升高,也可能一高一低。

  • CPU使用率高、CPU Ready低:虚拟机获得了CPU,但应用本身需要更多计算资源,属于虚拟机内部CPU消耗较高;
  • CPU使用率中等、CPU Ready高:虚拟机实际拿到的CPU不算多,但可能仍有更多可运行任务在排队;
  • CPU使用率低、CPU Ready低:虚拟机可能处于正常空闲或I/O等待状态;
  • CPU使用率低、CPU Ready高:需要重点检查CPU限制、资源池策略、局部核心竞争、NUMA布局或指标口径。

所以,不能用“虚拟机CPU使用率没有超过80%”来排除CPU竞争。虚拟机看到的使用率,是已经分配到的CPU时间,而不是所有潜在计算需求。

3. 不同平台的指标名称和统计口径不同

不同虚拟化平台不一定都使用“CPU Ready”这个名称,原始指标也不能直接横向比较。

平台或环境常见观察指标主要含义使用时的注意点
VMware ESXiCPU Ready、%RDY、CPU Ready time虚拟CPU可运行但等待调度需要确认是按vCPU、虚拟机还是集群汇总
Linux虚拟机%steal客户机想使用CPU但被虚拟化层暂时占用不要把它与宿主机CPU使用率直接相加
KVM或其他虚拟化平台vCPU等待、steal、调度延迟等虚拟CPU获得物理CPU的等待情况指标名称和采样方式可能由监控系统定义
Hyper-V虚拟处理器运行时间、调度等待相关计数器虚拟处理器实际运行和等待状态需要结合Hyper-V主机和虚拟处理器计数器判断

同一平台内,也要确认监控系统显示的是百分比、毫秒,还是累计时间。若看到的是累计毫秒,应先换算成观察窗口内的比例,再与不同时间段比较。

还要特别注意多vCPU虚拟机的汇总方式。4个vCPU各自平均Ready为6%时:

  • 每个vCPU的Ready比例都是6%;
  • 4个vCPU累计等待时间相当于4个vCPU各自的等待时间之和;
  • 如果监控平台显示的是“所有vCPU等待时间总和”,不能直接把24%当作单个vCPU的Ready比例;
  • 应先确认平台的分母,再进行阈值判断。

三、真正影响CPU Ready的变量

1. 宿主机CPU利用率和超配程度

宿主机CPU使用率越高,通常可供虚拟机调度的空闲时间越少,但“宿主机平均CPU使用率”不是充分条件。

例如,宿主机有16个逻辑CPU,整体利用率为85%,看起来还有15%的余量。但如果某个虚拟机需要同时获得多个特定NUMA节点上的CPU,或者局部核心已经被其他任务占用,它仍然可能出现较高的Ready。

需要同时看:

  • 宿主机整体CPU利用率;
  • 每个逻辑CPU或物理核心的利用率;
  • 宿主机运行队列;
  • 同一资源池或集群的CPU超配比例;
  • 高峰期其他虚拟机是否同时出现CPU Ready;
  • 目标虚拟机所在NUMA节点是否比其他节点更繁忙。

宿主机平均利用率低,但某个核心或某个NUMA节点繁忙,是常见的“平均值正常、虚拟机仍然等待”的原因。

2. 虚拟机vCPU数量

vCPU并不是越多越好。虚拟机配置了更多vCPU后,虚拟化调度器需要管理更多可运行的虚拟处理器,也可能需要满足更复杂的CPU拓扑和内存局部性要求。

一个实际判断思路是:

  • 如果虚拟机长期只使用2个vCPU,却配置了8个或16个vCPU,增加vCPU可能不能提升吞吐;
  • 在宿主机繁忙时,大vCPU虚拟机可能更难获得合适的调度机会;
  • 大vCPU虚拟机的CPU Ready和CPU Co-Stop需要同时观察;
  • 调整vCPU数量后,应重新验证应用线程池、数据库并发和业务吞吐,不能只看Ready是否下降。

降低vCPU数量有时会让CPU Ready下降,但这不代表减少资源总是正确。若虚拟机内部确实存在持续的CPU排队,缩减vCPU可能反而降低吞吐,必须结合业务压测或峰值数据判断。

3. CPU限制、份额、预留和资源池策略

宿主机不忙时,虚拟机仍可能因为资源策略拿不到更多CPU。常见原因包括:

  • 虚拟机配置了CPU limit;
  • 所在资源池的限制或份额不合理;
  • 同一资源池内存在更高优先级的虚拟机;
  • CPU reservation不足以满足既定保障目标;
  • 管理平台对虚拟机设置了临时或长期的资源策略;
  • 宿主机之间的资源池配置不一致。

这类场景中,宿主机总CPU可能只有60%至70%,但目标虚拟机仍有较高调度等待。此时直接增加宿主机数量未必解决问题,应先核对虚拟机、资源池和集群的CPU策略。

4. NUMA和CPU拓扑

多路物理CPU服务器通常划分为多个NUMA节点。虚拟机的vCPU和内存如果跨越多个节点,可能受到局部CPU资源、内存访问延迟和调度策略影响。

需要重点关注:

  • 虚拟机vCPU数量是否明显超过单个NUMA节点可提供的资源;
  • 虚拟机内存是否存在跨节点访问;
  • 宿主机是否开启或配置了自动NUMA策略;
  • CPU亲和性、独占核心或手工绑定是否限制了调度范围;
  • 迁移到另一台拓扑不同的宿主机后,Ready和业务延迟是否同步变化。

NUMA问题不一定表现为全宿主机CPU接近100%。只看整体利用率,可能会错过单节点资源紧张。

5. 内存压力和I/O等待

内存回收、宿主机交换、虚拟机内部交换和磁盘I/O延迟,都会让业务变慢,但它们不一定表现为高CPU Ready。

例如:

  • 虚拟机CPU Ready为1%,但宿主机发生内存交换;
  • 虚拟机CPU使用率只有30%,磁盘延迟从2毫秒上升到80毫秒;
  • 应用线程大量阻塞在数据库或网络I/O上;
  • 业务P99延迟升高,但CPU调度指标没有明显变化。

这些情况不能归因于CPU Ready。性能分析必须把CPU、内存、磁盘、网络和应用队列放在一起,否则容易把“业务变慢”简单解释成“CPU不够”。

四、用延迟、吞吐和宿主机负载交叉解释

以下数据为示例监控数据,用于说明判断方法,不代表某一环境的实测结果。

四、用延迟、吞吐和宿主机负载交叉解释配图

时间段虚拟机CPU使用率CPU Ready平均值宿主机CPU利用率应用P95延迟吞吐初步判断
正常时段52%1.2%63%85毫秒1100请求/秒CPU调度正常
峰值A68%8.6%91%240毫秒1030请求/秒宿主机CPU竞争与延迟上升同步
峰值B93%1.1%91%250毫秒1000请求/秒更像虚拟机自身CPU饱和
峰值C45%9.0%68%220毫秒1040请求/秒检查资源限制、局部核心或NUMA
短时突发60%12%94%90毫秒1090请求/秒等待短暂,当前业务影响有限

从这组示例可以看出,CPU Ready的意义取决于组合关系:

情况一:CPU Ready升高,宿主机也接近饱和,业务延迟同步上升

这是最容易成立的CPU竞争场景。若多个连续采样周期都满足以下条件:

  • CPU Ready明显高于正常基线;
  • 宿主机或集群CPU持续处于高利用率;
  • 业务P95、P99延迟同步上升;
  • 吞吐下降或排队请求增加;
  • 其他虚拟机也出现类似调度等待;

则可以把宿主机CPU容量不足或集群CPU超配列为主要原因。

情况二:CPU Ready升高,但宿主机平均CPU并不高

不要马上得出“监控不准”的结论,应继续检查局部资源:

  • 单个物理核心是否接近满载;
  • 目标虚拟机是否配置了CPU limit;
  • 资源池是否有份额或预留约束;
  • 是否设置了CPU亲和性;
  • NUMA节点是否局部繁忙;
  • Ready是否只发生在短时间突发;
  • 监控平台是否把多个vCPU的等待时间直接求和;
  • 目标虚拟机是否在迁移、快照或其他管理操作期间出现调度变化。

这类场景的处理重点不是立即扩容,而是先确定“可用CPU为什么没有被目标虚拟机使用”。

情况三:宿主机CPU很高,但目标虚拟机CPU Ready很低

宿主机整体繁忙不等于目标虚拟机正在等待。可能的情况包括:

  • 高CPU主要由其他虚拟机消耗;
  • 目标虚拟机的业务负载本身不需要更多CPU;
  • 目标虚拟机受到磁盘、网络、数据库或锁等待影响;
  • 目标虚拟机已经获得了所需的CPU,只是宿主机还有其他区域在繁忙。

如果目标虚拟机的延迟没有同步变化,不应仅因宿主机CPU达到90%就迁移或扩容。

情况四:CPU Ready不高,但虚拟机CPU使用率持续接近满载

这更接近虚拟机内部的CPU饱和:

  • 应用线程持续消耗CPU;
  • 业务请求量增加;
  • 单线程任务受单个vCPU性能限制;
  • 数据库、编译、压缩或加密任务需要更多计算能力。

此时增加宿主机容量未必有效,因为问题可能是虚拟机本身的计算需求。需要结合应用并发、线程数、单核利用率和吞吐判断是否应增加vCPU、优化程序或拆分负载。

五、CPU Ready的参考范围怎么用

下面的范围适合作为初步筛查,不应当当作所有业务的统一SLA。实际阈值要结合采样周期、平台口径和业务延迟目标。

CPU Ready持续水平适合的判断建议动作
低于约2%通常属于较低调度等待保留基线,继续关注业务指标
约2%至5%可能存在轻度竞争对比峰值延迟和同类虚拟机
约5%至10%对延迟敏感业务可能产生影响检查宿主机、资源池、vCPU数量和局部核心
持续高于约10%调度竞争较明显结合业务影响评估迁移、缩减vCPU或扩充容量
短时高于10%但业务无变化可能是瞬时突发不宜仅凭一次峰值扩容,先延长观察和复测

这里的“持续”比单个峰值更重要。比如每5分钟采样一次,只有一个点达到15%,而前后均为1%至3%,通常不能直接认定容量不足。相反,连续30分钟保持7%,且P99延迟从100毫秒升至300毫秒,就算没有超过10%,也应当进入处理范围。

对于批处理、离线计算等吞吐型业务,CPU Ready可能允许更高一些,但需要看总作业完成时间。对于在线交易、实时接口和高并发Web服务,P99延迟更重要,较低的Ready也可能值得处理。

六、把“原因判断”和“处理决策”分开

1. 优先修正资源配置的场景

如果宿主机CPU不高,但虚拟机Ready较高,应优先核对:

  • CPU limit是否限制了虚拟机;
  • 资源池份额、预留和层级关系;
  • CPU亲和性或独占核心配置;
  • vCPU数量是否明显过大;
  • 监控指标是否被多vCPU汇总方式放大;
  • NUMA和宿主机拓扑是否匹配。

处理后应在相同业务负载下复测,不能只观察Ready下降。比如减少vCPU后Ready下降,但业务吞吐同时下降,这不属于成功优化。

2. 优先进行负载分散的场景

如果目标虚拟机和同宿主机多个虚拟机同时出现高Ready,且宿主机CPU长期高于基线,可以考虑:

  • 将部分高CPU虚拟机迁移到负载较低的宿主机;
  • 调整集群调度和资源池分布;
  • 将突发型任务与在线业务错峰;
  • 增加宿主机或扩充集群CPU容量;
  • 重新评估CPU超配比例。

迁移或调整资源前,应确认业务支持在线迁移,并安排维护窗口。对于数据库、许可证绑定、设备直通或有特殊亲和性配置的虚拟机,迁移前要核对兼容条件和回滚路径。

3. 不宜仅凭CPU Ready扩容的场景

以下情况不适合直接把问题归结为CPU容量不足:

  • Ready只在单个采样点升高;
  • 宿主机CPU高,但目标虚拟机Ready低;
  • 虚拟机CPU使用率低,磁盘或网络延迟明显升高;
  • 业务P95、P99延迟没有变化;
  • Ready升高只发生在备份、快照、迁移等管理操作窗口;
  • CPU Ready统计口径尚未确认;
  • 只有一台监控主机或一个指标异常,其他数据没有支持。

先排除指标口径、内存压力和I/O等待,通常比直接增加vCPU更稳妥。盲目增加vCPU可能让调度压力进一步增加,形成“虚拟机越慢,配置的vCPU越多;vCPU越多,Ready越高”的循环。

七、建立可复用的判断流程

可以采用下面的顺序完成一次CPU Ready影响评估:

  1. 确定时间窗口:选取业务延迟或吞吐异常的时间段,同时保留异常前后的正常窗口。
  2. 确认指标口径:明确Ready是按单个vCPU、虚拟机平均值、累计时间还是汇总百分比显示。
  3. 对齐虚拟机指标:查看CPU使用率、每个vCPU利用率、内存回收、交换和I/O等待。
  4. 对齐宿主机指标:查看整体CPU、每个核心、NUMA节点、运行队列和同宿主机其他虚拟机。
  5. 对齐业务结果:比较请求量、并发数、P95/P99延迟、吞吐、错误率和队列长度。
  6. 判断相关性:确认Ready上升是否与宿主机竞争和业务指标异常在时间上重合。
  7. 执行小范围验证:在可回滚条件下迁移、调整资源策略或优化vCPU配置,再使用相同负载复测。
  8. 保留前后对照:至少比较Ready、宿主机CPU和业务P99延迟三个结果,避免只看单项指标。

为了提高判断可信度,建议保留一组对照数据。例如调整前连续30分钟CPU Ready为8%至10%、P99延迟为280毫秒;迁移到负载较低的宿主机后,Ready下降到2%至3%、P99延迟恢复到120毫秒,而请求量和应用版本保持不变,这样才能较有把握地把CPU调度竞争认定为主要因素。

复测与容量判断的边界

复测时应尽量保持业务请求量、并发模型、应用版本、数据库负载和采样周期一致。若只能进行自然流量观察,至少要对比多个相同业务时段,并记录峰值而不是只看平均值。

可以用下面的容量判断标准作为收口:

  • 容量充足:峰值期间CPU Ready低于基线,业务P99延迟和吞吐没有明显恶化;
  • 存在调度风险:CPU Ready持续高于基线,但业务指标尚未异常,需要继续观察趋势和增长速度;
  • 当前容量不足:CPU Ready持续升高,宿主机或集群CPU接近饱和,且业务延迟上升或吞吐下降;
  • 根因不在宿主机CPU:业务已经变慢,但CPU Ready不高,或调整CPU资源后业务指标没有改善,应转向内存、磁盘、网络、应用锁和数据库等待分析。

当业务负载预计增长时,不要只按宿主机平均CPU计算余量。应以峰值期间的CPU Ready、宿主机局部负载、业务P99延迟和目标吞吐共同评估,并保留足够的突发空间。若连续多个业务周期都出现“宿主机高负载、CPU Ready同步升高、P99延迟恶化”,就应把增加物理CPU、扩充集群或重新分配虚拟机列入容量计划,而不是等到业务完全超时后再处理。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5354.html

相关推荐