日本服务器Linux cgroups如何实现资源隔离?CPU与内存限制怎么验证

发布人:A5数据发布时间:2026-11-02 13:55阅读量:84

一台日本服务器上,某个进程的 CPU 使用率接近 100%,不一定代表它突破了“50% CPU 限额”;给进程设置 512 MiB 内存上限,也不意味着它的常驻内存一到 512 MiB 就会被终止。前者涉及 CPU 使用率的统计口径与限额周期,后者涉及内存计费、回收和交换空间。

Linux cgroups 的作用,是把一组进程放进同一个资源控制组,由内核对该组进行统计和约束。验证是否隔离成功,不能只看应用面板上的一个百分比:CPU 要对照控制组的配额、使用量和节流次数;内存要对照上限、当前用量及内存事件。服务器位于日本并不改变这些内核机制,但虚拟化层、宿主机负载和系统配置会影响最终观察结果。

概念边界:cgroups 隔离的是什么

cgroups 控制的是进程组使用资源的方式,不是为进程预留一块永远不被别人使用的物理 CPU 或内存。本文以统一层级的 cgroup v2 为例;如果服务器使用 cgroup v1,文件路径和部分指标不能直接照搬。

CPU 控制主要有两类:cpu.max 设置一段周期内可使用的 CPU 时间上限;cpu.weight 调整同级控制组在发生竞争时的相对份额。前者适合验证“有没有超过配额”,后者不能当成固定的 CPU 百分比。内存控制中,memory.max 是硬上限;memory.high 更偏向施加回收压力,不等于到达该值就立即终止进程。

这些限制按层级生效。子控制组即使写了较宽松的数值,也无法突破父控制组的有效约束。因此,在日本云服务器、VPS 或其他虚拟化实例内看到的 cgroups 结果,首先是客户机 Linux 内核可见范围内的结果;它不能证明宿主机没有额外资源限制。

概念边界:cgroups 隔离的是什么配图

工作机制:CPU 为什么会被“限速”

cpu.max 通常包含两个数:配额和周期,单位都是微秒。例如示意值 50000 100000 表示每 100 毫秒周期内,这个控制组累计最多使用约 50 毫秒 CPU 时间,相当于半个逻辑 CPU 的持续算力,而不是“每个核心都能使用 50%”。

如果组内只有一个持续计算的线程,它可能运行一段时间、用尽当期配额后暂停,待下个周期恢复。如果有多个线程在不同核心同时运行,它们会共同消耗这 50 毫秒配额,可能更早进入节流。负载不足时则不会为了“凑满配额”而运行。

工作机制:CPU 为什么会被“限速”配图

这也解释了百分比误读:某些工具以“一个逻辑 CPU”为 100% 展示进程用量,某些面板以整台机器的 CPU 总容量为分母。对于一台有 4 个逻辑 CPU 的机器,持续使用半个逻辑 CPU,在两种口径下可以分别接近 50% 和 12.5%。验证限额时,应优先看控制组本身的数据,而不是单独比较面板百分比。

cpu.stat 中的 usage_usec 记录累计 CPU 使用时间;在启用 CPU 配额时,nr_throttled 和 throttled_usec 可帮助判断是否因配额受到节流。示意地说,持续满负载的半核控制组运行 10 秒墙钟时间,usage_usec 增量接近 500 万微秒,是符合预期的量级;调度开销、取样边界和其他限制会让结果有偏差。

工作机制:内存为什么不按进程 RSS 简单截断

memory.max 约束的是控制组计入的内存使用,而不是某一个进程在 top 中显示的 RSS。组内多个进程的匿名内存、文件页缓存及部分内核内存都可能参与计费;相反,进程视角的统计与控制组统计也未必能逐项相加。

当用量逼近上限,内核会尝试回收可回收页面。若仍无法满足新的内存申请,可能触发该控制组内的 OOM 处理,终止相关进程。因而:

  • memory.current 接近 memory.max,不自动等于已经发生 OOM;
  • memory.events 中的 max 增长,表示触及上限相关事件,不自动等于进程被杀;
  • oom_kill 增长,才是判断发生控制组内 OOM 杀进程的重要证据。

交换空间也必须单独核对。允许使用 swap 时,部分匿名页可能被换出,应用看起来只是变慢,未必立即因 memory.max 触发 OOM。cgroup v2 可通过 memory.swap.max 另行限制交换空间;“内存上限 512 MiB”和“内存加 swap 总共只能使用 512 MiB”不是同一句话。

工作机制:内存为什么不按进程 RSS 简单截断配图

哪些因素会改变验证结果

先确认实验观察的是哪一层限制。下面几个因素尤其容易造成误判:

观察到的现象优先核对的因素不能直接得出的结论
CPU 很慢,但节流次数不增长宿主机争用、客户机负载、父控制组限制、任务是否真正持续运行不能直接认定当前控制组的 cpu.max 生效
CPU 使用量低于配额任务需求不足、I/O 等待、可用 CPU 集合、父级约束不能认定配额设置错误
内存到达上限附近但进程未退出页面回收、swap、负载是否继续申请内存不能认定 memory.max 未生效
进程退出,但 oom_kill 未增长程序自身退出、外部终止、观察了错误的控制组不能直接归因于内存限额

在共享宿主机上,实例获得的实际 CPU 运行机会还可能受到虚拟化层影响;而在客户机内,CPU 配额和 CPU 权重也可能与父级限制叠加。日本机房的位置主要影响网络路径、时延等环境条件,不能用地理位置解释 cgroups 的计费与节流规则。

A5idc数据提供日本物理服务器,覆盖Xeon Gold与AMD EPYC平台,配备SSD或NVMe存储,并提供CN2及国际带宽等线路方案,为Linux服务、容器、多任务计算和数据库场景提供独立的CPU、内存、磁盘与网络资源基础,适合开展资源隔离与运行管理。

如何在服务器上验证 CPU 与内存限制

以下示例适用于已确认使用 cgroup v2、由 systemd 管理服务、具备管理员操作权限的 Linux 环境。命令会启动临时测试进程,不修改现有业务服务的限额;仍应在空闲时段或非生产环境执行,先记录业务监控与相关日志,避免测试负载干扰正在运行的任务。示例中的单次作用域结束后会消失,不适合作为长期监控路径。

先检查层级类型及可用控制器:

stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
cat /proc/self/cgroup

第一条若输出 cgroup2fs,才继续使用下述 cgroup v2 文件名。还需确认可用控制器中包含 cpu、memory;实际测试作用域创建后,再核对对应文件是否存在。

验证 CPU 配额

在第一个终端启动持续计算任务。CPUQuota=50% 表示限制该作用域的持续 CPU 配额为半个逻辑 CPU;timeout 在约 30 秒后结束测试:

sudo systemd-run --scope --unit=cgcpu-check \
  --property=CPUQuota=50% \
  /usr/bin/timeout 30s /usr/bin/python3 -c 'while True: pass'

趁任务运行,在第二个终端读取它实际所在的控制组:

CG=$(systemctl show -P ControlGroup cgcpu-check.scope)
printf 'cgroup: %s\n' "$CG"
cat "/sys/fs/cgroup${CG}/cpu.max"
cat "/sys/fs/cgroup${CG}/cpu.stat"
sleep 5
cat "/sys/fs/cgroup${CG}/cpu.stat"

不要仅凭 CPUQuota=50% 的启动参数判定成功。先确认 cpu.max 第一项不是 max,再比较两次 cpu.stat:持续计算期间,5 秒墙钟时间对应的 usage_usec 增量若在约 250 万微秒量级,且 nr_throttled 增长,便能同时支持“任务有负载”和“配额引发节流”两个判断。具体周期数、增量和偏差以机器当时状态为准;若读到的路径为空或文件不存在,应先核对作用域是否已结束,以及 systemd 是否将控制器用于该作用域。

验证内存硬上限与 OOM 事件

内存测试应单独进行,不要叠加前一个 CPU 限额,以免把执行变慢误判为内存影响。下面将硬上限设为 512 MiB,并把该作用域的 swap 上限设为 0;Python 尝试分配约 700 MiB 的字节数组。末尾的 sleep 是为了在测试进程退出后,尽量保留作用域供另一个终端观察。

sudo systemd-run --scope --unit=cgmem-check \
  --property=MemoryMax=512M \
  --property=MemorySwapMax=0 \
  /usr/bin/bash -c \
  'python3 -c "b=bytearray(700 * 1024 * 1024); print(len(b), flush=True)"; sleep 20'

在作用域仍存在时,另一个终端读取:

CG=$(systemctl show -P ControlGroup cgmem-check.scope)
printf 'cgroup: %s\n' "$CG"
cat "/sys/fs/cgroup${CG}/memory.max"
cat "/sys/fs/cgroup${CG}/memory.swap.max"
cat "/sys/fs/cgroup${CG}/memory.current"
cat "/sys/fs/cgroup${CG}/memory.events"

此处 512M 按 systemd 容量写法表示 512 MiB,即 536,870,912 字节;700 MiB 为 734,003,200 字节。先核对文件中的实际生效值,再看事件:若 oom_kill 增长,说明发生了该控制组内的 OOM 杀进程。若作用域提前消失,或 memory.swap.max 未按预期显示为 0,不能只依据终端出现“Killed”或进程退出就宣称验证完成,应检查该次作用域的日志,并重新确认 systemd 属性与内核控制文件是否受支持。

测试只影响新建作用域中的进程,不需要修改现有服务配置。若测试负载异常或需要提前撤销,可在确认作用域名称后执行 sudo systemctl stop cgcpu-check.scope 或 sudo systemctl stop cgmem-check.scope;这会终止该作用域内的测试进程,因此不要把业务进程加入同名作用域。

判断边界:验证通过代表什么

一组较完整的 CPU 验证证据是:确认 cgroup v2、找到测试进程所属控制组、读到实际 cpu.max,并在持续负载下看到使用时间与配额量级相符、节流计数增长。内存验证则需要读到实际 memory.max 和 memory.swap.max,结合 memory.current、memory.events 判断是否触限及是否发生 OOM,而不是只看进程 RSS。

这些结果能证明该 Linux 实例内、该控制组及其父级约束下的资源控制行为;不能单独证明宿主机 CPU 没有争用,也不能把一次 OOM 当作所有业务负载的内存容量结论。上线前若要评估真实服务,应在相同父级限制、相近并发与实际内存访问模式下重复观察:限额文件回答“设置了什么”,使用量和事件文件回答“运行时发生了什么”,两者一致,资源隔离的判断才有依据。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7188.html

相关推荐