虚拟机CPU Ready持续升高说明什么?怎样结合宿主机负载判断影响
CPU Ready持续升高,首先说明虚拟机的虚拟CPU曾经处于“已经准备运行、但暂时没有拿到物理CPU”的状态。它通常与宿主机或集群CPU竞争有关,但不能仅凭一个数值断定虚拟机已经受到明显影响。只有当CPU Ready升高与业务延迟增加、吞吐下降或并发处理能力变差发生在同一时间,并且宿主机存在可验证的调度压力时,才可以把它视为性能瓶颈的重要证据。
判断影响时,应把CPU Ready与至少三组指标放在同一时间轴上观察:虚拟机实际获得的CPU使用率、宿主机及集群的CPU调度压力、业务侧的延迟与吞吐。CPU Ready高而业务无感,可能只是短时调度等待;CPU Ready只有3%左右,但对毫秒级延迟业务已经可能产生影响;反过来,宿主机CPU达到90%,如果目标虚拟机没有等待CPU,业务问题也未必由CPU资源引起。
在需要进一步梳理CPU资源边界的业务场景中,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon与AMD EPYC等计算平台,并配备DDR5内存、SSD或NVMe存储及不同带宽线路,可为数据库、业务后台、接口服务和多任务计算提供相对独立的物理计算与存储基础,便于结合业务负载规划承载环境。
一、先明确测试目标:判断“等待CPU”是否已经转化为业务损失
测试目标不是证明CPU Ready数值越低越好,而是回答两个问题:
- 虚拟机是否因为调度等待,不能及时执行已经准备好的任务?
- 这种等待是否已经影响业务的延迟、吞吐或并发能力?
因此,测试前需要固定观察对象和时间范围。建议至少记录以下内容:
- 虚拟机CPU Ready或等价的调度等待指标;
- 虚拟机CPU使用率,以及每个vCPU的使用率;
- 宿主机整体CPU使用率、每个逻辑CPU利用率、运行队列或调度压力;
- 同一宿主机、资源池或集群中其他虚拟机的CPU消耗;
- 虚拟机内存回收、交换、气球驱动等内存压力指标;
- 磁盘I/O延迟、网络延迟、应用线程池排队情况;
- 业务请求量、并发数、平均延迟、P95或P99延迟、错误率和吞吐。
观察时间不宜直接使用一天的平均值。全天平均可能只有2%,但在交易提交、批量计算或流量峰值期间持续达到12%,这类峰值更能解释业务体验。一般可以采用以下观察方式:
- 普通业务:以1分钟或5分钟为采样粒度,连续观察15至30分钟;
- 有明显流量峰值的业务:单独截取峰值前、峰值中和峰值后的时间段;
- 对延迟敏感的业务:保留P95、P99延迟,不能只看平均延迟;
- 需要判断容量趋势的场景:对比多个相同业务周期,而不是只看一次异常。
如果没有业务侧指标,CPU Ready只能说明调度状态,不能直接说明业务影响。
二、CPU Ready到底表示什么
1. 它表示“想运行但尚未被调度”
虚拟机中的线程要运行,通常要先由虚拟CPU承接。虚拟CPU已经处于可运行状态,但虚拟化调度器暂时没有把它安排到物理CPU上执行,这段等待时间就会体现在CPU Ready中。
可以用下面的关系理解:
CPU Ready比例 = 虚拟CPU等待物理CPU调度的时间 ÷ 观察时间 × 100%
例如,某个vCPU在10分钟观察窗口内累计等待36秒:
- 观察时间:600秒;
- 等待时间:36秒;
- CPU Ready比例:36 ÷ 600 × 100% = 6%。
这并不等于该vCPU有6%的时间完全停止,也不等于业务吞吐必然下降6%。它说明在这段时间内,vCPU存在调度等待,最终影响取决于任务是否对时延敏感、等待是否集中发生,以及应用是否有其他可运行线程。
2. CPU Ready不是虚拟机CPU使用率
虚拟机CPU使用率反映的是虚拟CPU已经获得并执行了多少计算时间,CPU Ready反映的是虚拟CPU想执行但没有及时获得物理CPU的时间。两者可能同时升高,也可能一高一低。
- CPU使用率高、CPU Ready低:虚拟机获得了CPU,但应用本身需要更多计算资源,属于虚拟机内部CPU消耗较高;
- CPU使用率中等、CPU Ready高:虚拟机实际拿到的CPU不算多,但可能仍有更多可运行任务在排队;
- CPU使用率低、CPU Ready低:虚拟机可能处于正常空闲或I/O等待状态;
- CPU使用率低、CPU Ready高:需要重点检查CPU限制、资源池策略、局部核心竞争、NUMA布局或指标口径。
所以,不能用“虚拟机CPU使用率没有超过80%”来排除CPU竞争。虚拟机看到的使用率,是已经分配到的CPU时间,而不是所有潜在计算需求。
3. 不同平台的指标名称和统计口径不同
不同虚拟化平台不一定都使用“CPU Ready”这个名称,原始指标也不能直接横向比较。
| 平台或环境 | 常见观察指标 | 主要含义 | 使用时的注意点 |
|---|---|---|---|
| VMware ESXi | CPU Ready、%RDY、CPU Ready time | 虚拟CPU可运行但等待调度 | 需要确认是按vCPU、虚拟机还是集群汇总 |
| Linux虚拟机 | %steal | 客户机想使用CPU但被虚拟化层暂时占用 | 不要把它与宿主机CPU使用率直接相加 |
| KVM或其他虚拟化平台 | vCPU等待、steal、调度延迟等 | 虚拟CPU获得物理CPU的等待情况 | 指标名称和采样方式可能由监控系统定义 |
| Hyper-V | 虚拟处理器运行时间、调度等待相关计数器 | 虚拟处理器实际运行和等待状态 | 需要结合Hyper-V主机和虚拟处理器计数器判断 |
同一平台内,也要确认监控系统显示的是百分比、毫秒,还是累计时间。若看到的是累计毫秒,应先换算成观察窗口内的比例,再与不同时间段比较。
还要特别注意多vCPU虚拟机的汇总方式。4个vCPU各自平均Ready为6%时:
- 每个vCPU的Ready比例都是6%;
- 4个vCPU累计等待时间相当于4个vCPU各自的等待时间之和;
- 如果监控平台显示的是“所有vCPU等待时间总和”,不能直接把24%当作单个vCPU的Ready比例;
- 应先确认平台的分母,再进行阈值判断。
三、真正影响CPU Ready的变量
1. 宿主机CPU利用率和超配程度
宿主机CPU使用率越高,通常可供虚拟机调度的空闲时间越少,但“宿主机平均CPU使用率”不是充分条件。
例如,宿主机有16个逻辑CPU,整体利用率为85%,看起来还有15%的余量。但如果某个虚拟机需要同时获得多个特定NUMA节点上的CPU,或者局部核心已经被其他任务占用,它仍然可能出现较高的Ready。
需要同时看:
- 宿主机整体CPU利用率;
- 每个逻辑CPU或物理核心的利用率;
- 宿主机运行队列;
- 同一资源池或集群的CPU超配比例;
- 高峰期其他虚拟机是否同时出现CPU Ready;
- 目标虚拟机所在NUMA节点是否比其他节点更繁忙。
宿主机平均利用率低,但某个核心或某个NUMA节点繁忙,是常见的“平均值正常、虚拟机仍然等待”的原因。
2. 虚拟机vCPU数量
vCPU并不是越多越好。虚拟机配置了更多vCPU后,虚拟化调度器需要管理更多可运行的虚拟处理器,也可能需要满足更复杂的CPU拓扑和内存局部性要求。
一个实际判断思路是:
- 如果虚拟机长期只使用2个vCPU,却配置了8个或16个vCPU,增加vCPU可能不能提升吞吐;
- 在宿主机繁忙时,大vCPU虚拟机可能更难获得合适的调度机会;
- 大vCPU虚拟机的CPU Ready和CPU Co-Stop需要同时观察;
- 调整vCPU数量后,应重新验证应用线程池、数据库并发和业务吞吐,不能只看Ready是否下降。
降低vCPU数量有时会让CPU Ready下降,但这不代表减少资源总是正确。若虚拟机内部确实存在持续的CPU排队,缩减vCPU可能反而降低吞吐,必须结合业务压测或峰值数据判断。
3. CPU限制、份额、预留和资源池策略
宿主机不忙时,虚拟机仍可能因为资源策略拿不到更多CPU。常见原因包括:
- 虚拟机配置了CPU limit;
- 所在资源池的限制或份额不合理;
- 同一资源池内存在更高优先级的虚拟机;
- CPU reservation不足以满足既定保障目标;
- 管理平台对虚拟机设置了临时或长期的资源策略;
- 宿主机之间的资源池配置不一致。
这类场景中,宿主机总CPU可能只有60%至70%,但目标虚拟机仍有较高调度等待。此时直接增加宿主机数量未必解决问题,应先核对虚拟机、资源池和集群的CPU策略。
4. NUMA和CPU拓扑
多路物理CPU服务器通常划分为多个NUMA节点。虚拟机的vCPU和内存如果跨越多个节点,可能受到局部CPU资源、内存访问延迟和调度策略影响。
需要重点关注:
- 虚拟机vCPU数量是否明显超过单个NUMA节点可提供的资源;
- 虚拟机内存是否存在跨节点访问;
- 宿主机是否开启或配置了自动NUMA策略;
- CPU亲和性、独占核心或手工绑定是否限制了调度范围;
- 迁移到另一台拓扑不同的宿主机后,Ready和业务延迟是否同步变化。
NUMA问题不一定表现为全宿主机CPU接近100%。只看整体利用率,可能会错过单节点资源紧张。
5. 内存压力和I/O等待
内存回收、宿主机交换、虚拟机内部交换和磁盘I/O延迟,都会让业务变慢,但它们不一定表现为高CPU Ready。
例如:
- 虚拟机CPU Ready为1%,但宿主机发生内存交换;
- 虚拟机CPU使用率只有30%,磁盘延迟从2毫秒上升到80毫秒;
- 应用线程大量阻塞在数据库或网络I/O上;
- 业务P99延迟升高,但CPU调度指标没有明显变化。
这些情况不能归因于CPU Ready。性能分析必须把CPU、内存、磁盘、网络和应用队列放在一起,否则容易把“业务变慢”简单解释成“CPU不够”。
四、用延迟、吞吐和宿主机负载交叉解释
以下数据为示例监控数据,用于说明判断方法,不代表某一环境的实测结果。

| 时间段 | 虚拟机CPU使用率 | CPU Ready平均值 | 宿主机CPU利用率 | 应用P95延迟 | 吞吐 | 初步判断 |
|---|---|---|---|---|---|---|
| 正常时段 | 52% | 1.2% | 63% | 85毫秒 | 1100请求/秒 | CPU调度正常 |
| 峰值A | 68% | 8.6% | 91% | 240毫秒 | 1030请求/秒 | 宿主机CPU竞争与延迟上升同步 |
| 峰值B | 93% | 1.1% | 91% | 250毫秒 | 1000请求/秒 | 更像虚拟机自身CPU饱和 |
| 峰值C | 45% | 9.0% | 68% | 220毫秒 | 1040请求/秒 | 检查资源限制、局部核心或NUMA |
| 短时突发 | 60% | 12% | 94% | 90毫秒 | 1090请求/秒 | 等待短暂,当前业务影响有限 |
从这组示例可以看出,CPU Ready的意义取决于组合关系:
情况一:CPU Ready升高,宿主机也接近饱和,业务延迟同步上升
这是最容易成立的CPU竞争场景。若多个连续采样周期都满足以下条件:
- CPU Ready明显高于正常基线;
- 宿主机或集群CPU持续处于高利用率;
- 业务P95、P99延迟同步上升;
- 吞吐下降或排队请求增加;
- 其他虚拟机也出现类似调度等待;
则可以把宿主机CPU容量不足或集群CPU超配列为主要原因。
情况二:CPU Ready升高,但宿主机平均CPU并不高
不要马上得出“监控不准”的结论,应继续检查局部资源:
- 单个物理核心是否接近满载;
- 目标虚拟机是否配置了CPU limit;
- 资源池是否有份额或预留约束;
- 是否设置了CPU亲和性;
- NUMA节点是否局部繁忙;
- Ready是否只发生在短时间突发;
- 监控平台是否把多个vCPU的等待时间直接求和;
- 目标虚拟机是否在迁移、快照或其他管理操作期间出现调度变化。
这类场景的处理重点不是立即扩容,而是先确定“可用CPU为什么没有被目标虚拟机使用”。
情况三:宿主机CPU很高,但目标虚拟机CPU Ready很低
宿主机整体繁忙不等于目标虚拟机正在等待。可能的情况包括:
- 高CPU主要由其他虚拟机消耗;
- 目标虚拟机的业务负载本身不需要更多CPU;
- 目标虚拟机受到磁盘、网络、数据库或锁等待影响;
- 目标虚拟机已经获得了所需的CPU,只是宿主机还有其他区域在繁忙。
如果目标虚拟机的延迟没有同步变化,不应仅因宿主机CPU达到90%就迁移或扩容。
情况四:CPU Ready不高,但虚拟机CPU使用率持续接近满载
这更接近虚拟机内部的CPU饱和:
- 应用线程持续消耗CPU;
- 业务请求量增加;
- 单线程任务受单个vCPU性能限制;
- 数据库、编译、压缩或加密任务需要更多计算能力。
此时增加宿主机容量未必有效,因为问题可能是虚拟机本身的计算需求。需要结合应用并发、线程数、单核利用率和吞吐判断是否应增加vCPU、优化程序或拆分负载。
五、CPU Ready的参考范围怎么用
下面的范围适合作为初步筛查,不应当当作所有业务的统一SLA。实际阈值要结合采样周期、平台口径和业务延迟目标。
| CPU Ready持续水平 | 适合的判断 | 建议动作 |
|---|---|---|
| 低于约2% | 通常属于较低调度等待 | 保留基线,继续关注业务指标 |
| 约2%至5% | 可能存在轻度竞争 | 对比峰值延迟和同类虚拟机 |
| 约5%至10% | 对延迟敏感业务可能产生影响 | 检查宿主机、资源池、vCPU数量和局部核心 |
| 持续高于约10% | 调度竞争较明显 | 结合业务影响评估迁移、缩减vCPU或扩充容量 |
| 短时高于10%但业务无变化 | 可能是瞬时突发 | 不宜仅凭一次峰值扩容,先延长观察和复测 |
这里的“持续”比单个峰值更重要。比如每5分钟采样一次,只有一个点达到15%,而前后均为1%至3%,通常不能直接认定容量不足。相反,连续30分钟保持7%,且P99延迟从100毫秒升至300毫秒,就算没有超过10%,也应当进入处理范围。
对于批处理、离线计算等吞吐型业务,CPU Ready可能允许更高一些,但需要看总作业完成时间。对于在线交易、实时接口和高并发Web服务,P99延迟更重要,较低的Ready也可能值得处理。
六、把“原因判断”和“处理决策”分开
1. 优先修正资源配置的场景
如果宿主机CPU不高,但虚拟机Ready较高,应优先核对:
- CPU limit是否限制了虚拟机;
- 资源池份额、预留和层级关系;
- CPU亲和性或独占核心配置;
- vCPU数量是否明显过大;
- 监控指标是否被多vCPU汇总方式放大;
- NUMA和宿主机拓扑是否匹配。
处理后应在相同业务负载下复测,不能只观察Ready下降。比如减少vCPU后Ready下降,但业务吞吐同时下降,这不属于成功优化。
2. 优先进行负载分散的场景
如果目标虚拟机和同宿主机多个虚拟机同时出现高Ready,且宿主机CPU长期高于基线,可以考虑:
- 将部分高CPU虚拟机迁移到负载较低的宿主机;
- 调整集群调度和资源池分布;
- 将突发型任务与在线业务错峰;
- 增加宿主机或扩充集群CPU容量;
- 重新评估CPU超配比例。
迁移或调整资源前,应确认业务支持在线迁移,并安排维护窗口。对于数据库、许可证绑定、设备直通或有特殊亲和性配置的虚拟机,迁移前要核对兼容条件和回滚路径。
3. 不宜仅凭CPU Ready扩容的场景
以下情况不适合直接把问题归结为CPU容量不足:
- Ready只在单个采样点升高;
- 宿主机CPU高,但目标虚拟机Ready低;
- 虚拟机CPU使用率低,磁盘或网络延迟明显升高;
- 业务P95、P99延迟没有变化;
- Ready升高只发生在备份、快照、迁移等管理操作窗口;
- CPU Ready统计口径尚未确认;
- 只有一台监控主机或一个指标异常,其他数据没有支持。
先排除指标口径、内存压力和I/O等待,通常比直接增加vCPU更稳妥。盲目增加vCPU可能让调度压力进一步增加,形成“虚拟机越慢,配置的vCPU越多;vCPU越多,Ready越高”的循环。
七、建立可复用的判断流程
可以采用下面的顺序完成一次CPU Ready影响评估:
- 确定时间窗口:选取业务延迟或吞吐异常的时间段,同时保留异常前后的正常窗口。
- 确认指标口径:明确Ready是按单个vCPU、虚拟机平均值、累计时间还是汇总百分比显示。
- 对齐虚拟机指标:查看CPU使用率、每个vCPU利用率、内存回收、交换和I/O等待。
- 对齐宿主机指标:查看整体CPU、每个核心、NUMA节点、运行队列和同宿主机其他虚拟机。
- 对齐业务结果:比较请求量、并发数、P95/P99延迟、吞吐、错误率和队列长度。
- 判断相关性:确认Ready上升是否与宿主机竞争和业务指标异常在时间上重合。
- 执行小范围验证:在可回滚条件下迁移、调整资源策略或优化vCPU配置,再使用相同负载复测。
- 保留前后对照:至少比较Ready、宿主机CPU和业务P99延迟三个结果,避免只看单项指标。
为了提高判断可信度,建议保留一组对照数据。例如调整前连续30分钟CPU Ready为8%至10%、P99延迟为280毫秒;迁移到负载较低的宿主机后,Ready下降到2%至3%、P99延迟恢复到120毫秒,而请求量和应用版本保持不变,这样才能较有把握地把CPU调度竞争认定为主要因素。
复测与容量判断的边界
复测时应尽量保持业务请求量、并发模型、应用版本、数据库负载和采样周期一致。若只能进行自然流量观察,至少要对比多个相同业务时段,并记录峰值而不是只看平均值。
可以用下面的容量判断标准作为收口:
- 容量充足:峰值期间CPU Ready低于基线,业务P99延迟和吞吐没有明显恶化;
- 存在调度风险:CPU Ready持续高于基线,但业务指标尚未异常,需要继续观察趋势和增长速度;
- 当前容量不足:CPU Ready持续升高,宿主机或集群CPU接近饱和,且业务延迟上升或吞吐下降;
- 根因不在宿主机CPU:业务已经变慢,但CPU Ready不高,或调整CPU资源后业务指标没有改善,应转向内存、磁盘、网络、应用锁和数据库等待分析。
当业务负载预计增长时,不要只按宿主机平均CPU计算余量。应以峰值期间的CPU Ready、宿主机局部负载、业务P99延迟和目标吞吐共同评估,并保留足够的突发空间。若连续多个业务周期都出现“宿主机高负载、CPU Ready同步升高、P99延迟恶化”,就应把增加物理CPU、扩充集群或重新分配虚拟机列入容量计划,而不是等到业务完全超时后再处理。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5354.html
