Linux cgroups如何限制服务器进程资源,怎样验证CPU与内存约束?
Linux cgroups 能限制进程组可使用的 CPU 时间和内存,但“设置了上限”不等于“进程一定会按预期变慢或立即报错”。CPU 配额通常表现为周期性节流,内存上限则可能触发回收,严重时导致组内进程被内核终止。判断约束是否生效,既要检查配置,也要观察运行中的计数器和进程行为。
概念边界:cgroups 限制的是一组进程
Linux cgroups(控制组)把进程归入层级结构,再通过控制器统计或约束这组进程使用的资源。它可以管理 CPU、内存、I/O 等资源。与进程优先级不同,cgroups 不只是影响“谁先运行”,还可以对一组进程设置用量上限。
cgroups 管理的是进程组的总资源使用,而不是给组内每个进程分别分配一份额度。例如,一个组的 CPU 配额是半个逻辑 CPU,组内有四个计算进程时,它们会共同竞争这半个 CPU 的时间。
cgroups 也不等同于虚拟机或完整容器隔离。它主要负责资源计量与控制;进程能看到哪些文件、网络接口或其他系统资源,还与命名空间、权限和容器运行时等机制有关。因此,限制内存并不会自动隔离进程可访问的文件,也不会自动为进程保留独占 CPU 核心。
现代 Linux 通常使用 cgroups v2 的统一层级。部分较旧系统仍使用 v1,或以兼容方式挂载 v1 控制器。两者的控制文件和层级组织方式不同,不能把 v1 的配置路径直接套用到 v2。
先检查系统实际使用的版本和挂载情况:
stat -fc %T /sys/fs/cgroup
findmnt -t cgroup,cgroup2
如果 stat 显示 cgroup2fs,通常表示 /sys/fs/cgroup 使用统一的 v2 层级。还应检查目标控制器是否可用;在 v2 下可查看:
cat /sys/fs/cgroup/cgroup.controllers
输出中出现 cpu、memory 等名称,说明对应控制器在该层级可用,但不一定表示当前目标子组已经启用它们。发行版、内核配置和服务管理方式都可能影响实际情况。
工作机制:CPU 配额按周期限时,内存上限按用量控制
CPU:配额、权重和 CPU 集不是同一种约束
在 cgroups v2 中,cpu.max 用于设置 CPU 带宽上限,格式为:
配额 微秒周期
例如:
50000 100000
表示每 100000 微秒(100 毫秒)的周期内,组内进程合计最多使用 50000 微秒 CPU 时间。按单个逻辑 CPU 的时间计算,这相当于半个 CPU 的持续配额。配额用尽后,组内进程会被节流,通常要等到下一个周期才能继续获得 CPU 时间。
这不代表进程会固定运行在某个核心上,也不代表每个进程各有半个核心。如果组内多个进程同时计算,它们共享总配额。系统有多个逻辑 CPU 时,配额仍按 CPU 时间总量计算;进程可能在一段时间内并行使用多个核心,随后较早耗尽该周期的配额。
另一种常见设置是 cpu.weight,它用于 CPU 竞争时的相对权重。权重不是硬上限:如果系统空闲,低权重组仍可能使用大量 CPU。cpuset.cpus 则用于限定进程可在哪些 CPU 上运行,也不等同于时间配额。判断“限制 CPU 用量”时,需要确认使用的是配额、权重还是 CPU 集。
内存:上限可能引起回收,也可能触发 OOM
在 cgroups v2 中,memory.max 是内存用量的硬上限。内核会尝试回收该组可回收的内存;如果无法在限制内满足新的分配请求,可能触发该 cgroup 内的 OOM 处理,终止组内一个或多个进程。具体表现取决于内核、组内进程及 OOM 配置。
因此,达到 memory.max 不一定意味着所有进程立刻退出。可能先出现内存回收、分配延迟或失败,之后才发生 OOM。memory.current 用于查看当前计量值,memory.events 可查看高水位、OOM 等相关事件计数。内存计量可能包含匿名内存、页缓存等,不应简单视作进程 RSS 的逐项相加。
v1 的常见控制文件则包括 CPU 控制器中的 cpu.cfs_quota_us、cpu.cfs_period_us,以及 memory 控制器中的 memory.limit_in_bytes。CPU 配额与周期的比值可用于理解可用 CPU 时间,但 v1 的挂载路径、层级与控制器启用方式因系统而异;实际操作前应先确认挂载点和目标进程所在组。
影响因素:为什么配置值与观察结果可能不完全一致
配置值只是约束机制的输入,进程行为还会受到以下因素影响:
- 测试负载是否持续消耗资源。 CPU 空闲程序不会触发配额节流;内存测试若没有实际触碰分配的内存,也可能看不出内存上限的影响。
- 统计口径是否一致。 CPU 用量可能按单核、总 CPU 或百分比显示。监控工具显示“100%”通常可能代表一个逻辑 CPU 满载,而不是整台多核服务器满载。
- 进程是否在目标 cgroup 中。 只查看某个服务配置并不能证明其子进程都处于相同的 cgroup;进程也可能由其他服务管理器或容器运行时创建。
- 内存是否包含其他计量项目。 页缓存等用量可能计入 cgroup 内存。不同工具展示的 RSS、虚拟内存和 cgroup 计量值并非同一个指标。
- 服务管理器和内核是否支持对应设置。 systemd 的属性、cgroup 版本以及控制器可用性均与系统环境有关。设置失败、被拒绝或没有生效时,应结合命令错误和实际控制文件检查,不能仅凭配置文件推断结果。
验证方法:同时检查配置、计数器和进程行为
对使用 systemd 的主机,可通过临时 scope 创建一个单独的测试进程组。下面示例分别验证 CPU 和内存限制,适用于已安装 Python 3、由 systemd 管理的常见 Linux 环境。执行内存测试前,应确认主机有足够余量;示例限制为 256 MiB,测试程序尝试分配约 384 MiB,可能被内核终止。不要在承载关键业务的组内做这类压力测试。
先运行 CPU 测试。测试进程持续计算约 60 秒,设置的 CPUQuota=50% 表示其 CPU 时间上限约为一个逻辑 CPU 的一半:
sudo systemd-run --scope --unit=cg-cpu-demo.scope \
-p CPUQuota=50% \
python3 -c 'import time; end=time.time()+60; x=0
while time.time()<end: x+=1
print(x)'
命令运行期间,在另一个终端检查 scope 属性和所属 cgroup:
sudo systemctl show cg-cpu-demo.scope \
-p ControlGroup -p CPUQuotaPerSecUSec -p MemoryMax
ControlGroup 会给出对应的 cgroup 相对路径。将其与 /sys/fs/cgroup 拼接后,可查看该组的 CPU 计数器。例如:
CG=$(sudo systemctl show cg-cpu-demo.scope -p ControlGroup --value)
sudo cat "/sys/fs/cgroup${CG}/cpu.max"
sudo cat "/sys/fs/cgroup${CG}/cpu.stat"
在 v2 下,cpu.max 中的配额和周期应与设定相符;cpu.stat 中可关注 usage_usec、nr_throttled 和 throttled_usec。持续计算且配额确实生效时,节流计数通常会增加。若进程很快结束、没有持续 CPU 负载,或读取的是错误的 cgroup 路径,计数器未增加并不能单独证明配置失效。
再运行内存测试:
sudo systemd-run --scope --unit=cg-mem-demo.scope \
-p MemoryMax=256M \
python3 -c 'import time; x=bytearray(384*1024*1024); time.sleep(60)'
进程若成功分配并保持用量,运行期间可查看:
CG=$(sudo systemctl show cg-mem-demo.scope -p ControlGroup --value)
sudo cat "/sys/fs/cgroup${CG}/memory.max"
sudo cat "/sys/fs/cgroup${CG}/memory.current"
sudo cat "/sys/fs/cgroup${CG}/memory.events"
预期 memory.max 显示与限制相符的字节数;memory.current 反映当前 cgroup 计量用量;如果分配触及上限,memory.events 中的 max 或 oom 等计数可能增加。具体结果受内核回收和进程分配方式影响,进程被终止后,其 cgroup 的当前用量可能迅速下降,因此应在运行时观察,或在测试结束后检查事件计数。
以上测试的 scope 会随命令结束而退出。若 systemd 报告属性不支持、没有权限,或控制文件路径不存在,先检查 systemctl --version、findmnt -t cgroup,cgroup2 和 cgroup.controllers,再判断系统采用的 cgroups 版本与管理方式。不同发行版的命令支持和权限配置可能不同,不能把示例结果视为所有主机的固定表现。
适用限制:cgroups 是资源约束,不是性能保证
cgroups 适合为服务、任务组或容器设置资源边界,降低单个工作负载持续占用资源的风险;它不会创造 CPU 或内存容量,也不能保证业务在限制内仍达到某个响应时间。CPU 配额过低可能造成排队和延迟上升,内存硬上限过紧则可能导致分配失败或组内进程被终止。
判断约束是否生效时,至少要确认三件事:目标进程确实位于预期 cgroup;控制文件或 systemd 属性显示的限制符合预期;在有代表性的负载下,节流或内存事件等计数器出现与机制相符的变化。只有配置值、没有运行时证据,不能证明进程已受到预期约束;只有性能变化,也不能排除主机争用、应用自身限速等其他原因。

A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等CPU平台,并提供不同内存、NVMe存储、带宽和IP资源组合,可承载网站后台、数据库、容器服务及多任务计算,为需要按进程组或业务单元划分CPU、内存资源的部署场景提供硬件基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4610.html



