治理Kubernetes闲置资源,怎样结合资源申请量与实际使用量识别过度预留?
只看集群 CPU 平均利用率,容易把短时突发当成长期闲置;只看 Pod 的内存当前值,也可能漏掉批处理峰值或重启前的高水位。判断 Kubernetes 资源是否过度预留,应在相同时间窗口内比较容器的资源申请量(requests)与实际使用量,并结合峰值、调度状态、扩缩容行为和服务质量验证。
一个可执行的初步判断是:在覆盖业务高峰和周期任务的观察窗口内,某工作负载的 CPU 使用量长期明显低于 requests,内存高分位及峰值也留有充足余量,同时没有排队、节流、OOM、延迟恶化等信号,再考虑下调申请量。CPU 和内存不能套用同一个阈值,单个容器的低利用率也不等于整个集群可以安全缩容。
先明确比较对象和观察窗口
requests 描述调度器为 Pod 计算资源需求时使用的申请量,不是容器始终实际消耗的资源。CPU request 也不是 CPU 使用上限;CPU limit 才会限制容器可用的 CPU 时间。内存 request 同样不等于内存硬上限,但容器超出 request 后,在节点内存压力下的处置风险可能上升;内存 limit 则会约束容器可用内存,超限可能触发 OOM。
因此,比较时应至少分清三层对象:
- 容器或 Pod:识别具体实例是否申请过多,或个别副本是否承担更高负载。
- 工作负载:按 Deployment、StatefulSet、Job 等归并副本,避免 Pod 重建、滚动更新造成名称变化后数据断档。
- 节点或集群:判断 requests 是否占用了大量可调度容量,以及实际使用量与剩余容量之间的关系。
观察窗口应覆盖完整的业务周期。在线业务可以先看连续 7 至 14 天,并确认其中包含工作日、周末和已知高峰;有月末结算、定期备份或批处理任务时,还要延长到覆盖相应周期。只看一两个小时的面板,无法证明低谷期代表长期需求。
指标采样也应一致:例如 CPU 使用量按 5 分钟速率计算,再在窗口内观察中位数、P95、P99 和峰值;内存则观察 working set 的高分位、峰值及 OOM 事件。这里的 P95 表示 95% 的采样点不超过该值,不能与平均值混为一谈。
用申请量与使用量建立基线
CPU 通常以核数计量,内存以字节或 MiB、GiB 计量。对同一工作负载,可以把某个时点的实际使用量除以 requests,得到资源申请利用率:
申请利用率 = 实际使用量 ÷ requests × 100%
例如,某容器申请 2 个 CPU 核,窗口内 CPU 使用量的 P95 为 0.8 核,则按 P95 计算的申请利用率是 40%。这个结果提示申请量可能偏高,但不能单独作为下调依据:若该容器在高峰时持续达到 1.8 核,或者 CPU throttling 与延迟同步上升,降低申请量可能增加调度竞争或影响服务。
内存也可以计算使用量与 request 的比值,但应优先看高分位和峰值,而不是只看平均值。内存不像 CPU 那样能够通过短时排队平滑掉全部突发需求,容器接近 limit 时尤其需要关注增长趋势、GC 行为、缓存、数据批次大小和 OOM 记录。
如果集群使用 Prometheus 和 kube-state-metrics,可以从下列指标起步:
sum by (namespace, pod, container) (
rate(container_cpu_usage_seconds_total{
container!="",
container!="POD"
}[5m])
)
该查询以 CPU 核数表示容器在近 5 分钟内的使用速率。容器的 CPU request 可通过 kube-state-metrics 查询:
kube_pod_container_resource_requests{
resource="cpu",
unit="core"
}
内存使用量可观察容器 working set:
container_memory_working_set_bytes{
container!="",
container!="POD"
}
对应的内存 request 通常可从 kube-state-metrics 中按 resource="memory" 查询。不同版本或部署配置的指标标签可能不同,例如部分环境没有 unit 标签;应先检查实际暴露的指标名称和标签,再调整查询。将使用量与 request 关联时,应按 namespace、pod、container 等共同标签匹配,避免把不同容器的数值错误相除。
CPU:看分位数,也看节流与响应时间
CPU 指标首先要回答两个不同问题:工作负载平时需要多少 CPU,以及高峰时是否受到 CPU 限制或节点争用影响。
若 CPU P50、P95 均显著低于 request,且峰值只是短暂出现,可能存在过度预留。若 CPU 使用量经常贴近 limit,并伴随 throttling 增多、请求延迟上升或任务处理时间变长,则不能因为平均值低就下调 request;还应检查 limit 是否过低、节点是否争用,以及流量或并发是否发生变化。
可以用一个模拟场景说明联动判断。某服务有 6 个副本,每个副本申请 1 核 CPU、使用 1 GiB 内存。在连续 14 天窗口中,单副本 CPU 使用量为:
| 指标 | CPU 使用量 | 与 request 的关系 |
|---|---|---|
| P50 | 0.18 核 | 18% |
| P95 | 0.42 核 | 42% |
| P99 | 0.72 核 | 72% |
| 短时峰值 | 0.95 核 | 95% |
如果这段时间没有高延迟、持续 throttling 或副本扩容滞后,且 0.95 核只是部署期间短暂出现,1 核 request 可能有下调空间。若峰值每天持续数十分钟,或者 P99 对应的是关键业务时段,就应保留更大的余量,不能仅依据 P50 得出结论。
CPU 平均利用率适合看总体趋势,P95、P99 和峰值则用于暴露尾部需求。对副本数变化频繁的工作负载,先按时间汇总使用量与 requests,再比较高分位;不要先对每个 Pod 的利用率取平均,否则小 request 的 Pod 与大 request 的 Pod 会被赋予相同权重,可能歪曲整体结果。
内存:高水位与 OOM 比均值更重要
假设某服务每个容器申请 2 GiB 内存,14 天内 working set 的 P50 为 620 MiB、P95 为 980 MiB、P99 为 1.3 GiB,峰值为 1.55 GiB。若没有 OOM、持续增长和业务高峰集中在峰值时段等迹象,2 GiB 申请量可能偏宽裕。但如果 1.55 GiB 出现在偶发批次,而批次大小仍会增长,或者容器刚经历缓存预热,建议先弄清峰值成因,再确定可下调幅度。
内存判断应联动以下信号:
- 高分位和峰值:判断常态需求与尾部余量。
- OOMKilled 和重启次数:确认是否有容器撞到内存边界。没有 OOM 不等于余量足够,因为 limit 可能设置得很高,或观察期没有覆盖最大负载。
- 工作负载行为:区分稳定驻留内存、缓存、堆内存和可回收内存;同样的 working set 数值,对不同应用并不代表同等风险。
- 节点内存压力:检查节点是否发生内存压力、驱逐或可用内存持续下降。容器层面的余量不能代替节点层面的安全空间。
对内存敏感型服务,候选 request 可以从高分位需求加安全余量开始评估,而不是直接贴近平均值。余量可先用约 20% 至 30% 做试算,但这只是起点:数据集增长快、峰值难预测或故障影响大的服务应留得更多;需求稳定、可快速扩缩的服务才适合更谨慎地压缩。实际取值应由峰值持续时间、业务风险和节点容量共同决定。
面向 Kubernetes 集群的节点资源规划,A5idc数据提供香港、美国、日本等地区的物理服务器租用,覆盖 Xeon Gold、AMD EPYC 等处理器平台,并有不同内存与 SSD、NVMe 存储配置,可为承载在线服务、数据库及多任务工作负载的节点提供硬件资源基础。多地区与多种配置组合,也适合构建贴合业务部署位置及计算、存储需求的服务器资源池。
将工作负载指标与集群调度状态结合
容器使用量低,不一定意味着集群 requests 可以按相同比例减少。调度器依据 requests 判断 Pod 是否能放入节点;实际资源还要留给系统组件、DaemonSet、Pod overhead 和节点运行开销。即使所有业务容器的平均使用量不高,如果 requests 集中在少数节点,仍可能出现 Pod Pending 或局部节点资源紧张。
检查集群层面时,应同时观察:
| 观察项 | 支持“存在过度预留”的信号 | 需要谨慎的信号 |
|---|---|---|
| CPU requests 与实际用量 | 多个节点的 request 长期高于需求,实际使用量和高分位均较低 | 高峰时 CPU 接近饱和,或延迟与节流同时上升 |
| 内存 requests 与 working set | 高分位和峰值长期低于 request,节点内存压力低 | OOM、驱逐、内存压力或峰值持续增长 |
| 调度状态 | 节点有可用容量,Pod 无长期 Pending | 因资源不足 Pending,或只有个别节点余量极少 |
| 副本与自动扩缩容 | 副本变化稳定,缩小 request 后不改变预期扩容行为 | HPA 频繁扩缩、负载突增时扩容跟不上 |
| 业务指标 | 延迟、错误率和吞吐在不同负载下稳定 | 性能退化与资源紧张在时间上相关 |
应按工作负载汇总 requests 与实际使用量,同时检查每个副本的分布。总量看起来宽裕,仍可能掩盖单个热点副本;反过来,少数高负载副本也不应让所有副本都按最高峰值永久配置。若流量分配不均,应先确认负载均衡、分片或分区策略,再讨论统一下调。
排除会让指标失真的因素
HPA 会受到 request 变化影响
基于 CPU 利用率的 HPA 通常会把 CPU 使用量与 CPU request 对照来计算利用率。request 下调后,即使实际 CPU 消耗不变,利用率百分比也会上升,可能触发更多副本;request 上调则可能降低利用率百分比,使扩容变慢。因此,修改 requests 前应评估 HPA 的目标利用率、当前副本数和扩容行为,并把扩缩容指标纳入复测。
若 HPA 使用自定义指标、外部指标或多个指标决策,request 的影响可能不同。不要仅依据 CPU request 利用率推断整个自动扩缩容策略。
滚动更新与短任务会改变统计口径
Pod 重建和滚动更新可能造成副本数短暂增加,也会让按 Pod 名称聚合的历史序列断开。Job、CronJob 的资源需求则可能集中在短时间窗口;把它们与长期在线服务合并平均,会掩盖峰值。应按工作负载类型和所有者关系分别汇总,避免把初始化容器、短生命周期容器或重复采集的序列混进业务容器统计。
还要核对配置是否与预期一致:包含多个容器的 Pod 应汇总各容器 requests;init container、Pod overhead 以及相关控制器副本数也会影响调度需求。只看应用主容器的 request,可能低估 Pod 实际申请量。
CPU 使用量低可能是被限制后的结果
低 CPU 使用量也可能来自 CPU limit、节点竞争或应用自身并发限制,而不是业务实际不需要更多 CPU。若 CPU throttling、延迟或队列长度偏高,应先判断瓶颈位置。此时降低 request 可能进一步加剧争用;若 limit 过低,单纯增加 request 也未必能解决问题。
把观察结果转为候选申请量
下面的参考范围用于筛选候选项,不是适用于所有工作负载的固定标准:
- CPU 的 P95 长期低于 request 的约 50% 至 60%,P99 和峰值也有余量,同时未见明显节流、延迟恶化或扩容异常,可列入下调评估。
- 内存 P99 与峰值长期明显低于 request,观察窗口覆盖完整业务周期,且没有 OOM、驱逐或节点内存压力,可评估下调;应比 CPU 更谨慎地保留余量。
- 若只是 P50 偏低,但 P95、P99 接近 request,或峰值与业务高峰重合,不应仅凭平均值下调。
- 若使用量低但 Pod 长期 Pending,应检查 requests 的分布、节点可调度容量和调度约束;不能把 Pending 直接当成“申请过多”的证明。
- 若指标呈现显著周期性,应按峰值周期确定申请量或采用合适的扩缩容策略,不能用低谷期统计值代表全年需求。
对候选 request,可以分别计算 CPU 与内存的参考值。CPU 可把覆盖高峰的 P95 或 P99 作为基线,再加上与业务风险相匹配的余量;内存则应参考 P99、峰值和增长趋势,避免让申请量贴近短时高水位。最终还要检查 Pod 总 request、HPA 逻辑和节点可调度空间是否仍符合设计预期。
小步调整后复测
判断是否过度预留,最终要看调整后的系统表现,而不仅是调整前的利用率。先从一个工作负载或一小部分副本验证,记录原有 requests、limits、副本数和关键业务指标;发布后观察完整的高峰或批处理周期。涉及生产变更时,保留原配置,出现 Pending、OOM、节流明显增加、延迟恶化或错误率上升时,及时恢复原值并复核原因。

复测时建议把以下数据放在同一时间轴上:

- CPU 使用量的 P50、P95、P99 和峰值,以及 CPU throttling;
- 内存 working set 的高分位与峰值、OOMKilled 和重启;
- requests、limits、副本数、HPA 目标与扩缩容事件;
- Pod Pending、节点可调度容量、节点压力和驱逐;
- 延迟、错误率、吞吐量或任务完成时间等业务指标。
如果 requests 下调后节点可调度容量增加,而高峰使用量仍有安全余量,业务指标稳定,且没有新增调度、内存或节流问题,才有证据说明这次调整有效。下一轮评估也应继续同时看“申请量与使用量的分位数”“资源压力与调度状态”“扩缩容与业务表现”,而不是只追求某一个利用率数字更高。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9782.html



