还能加多少容器?香港EPYC 7313+64GB服务器如何用阶梯压测验证余量?
容器从16个增加到24个,CPU平均利用率只从45%升到66%,是否还能继续加?不能只凭这两个数字判断。新增容器会同时增加常驻内存、工作线程、数据库连接、日志写入和请求排队;即使主机CPU尚未跑满,接口的P99响应时间也可能先越过业务要求。
对香港EPYC 7313+64GB服务器,判断“还能加多少容器”的可靠方法,是在业务负载可比的条件下阶梯增加容器数量,再对候选规模单独提高请求量。最终得到的应是两个数:满足业务指标的已验证容量,以及保留增长和异常处理空间后的计划容量。两者之间的差额才是缓冲,不能全部视为可立即分配的资源。
一、测试目标:把“还能加多少”变成可验收的问题
容器数量必须与业务负载绑定
容器是运行与隔离单位,不是固定的性能单位。一个空闲Web容器可能只占用少量内存,一个持续处理任务的容器则可能消耗多个CPU核心、数GB内存,并产生大量磁盘写入。
开始测试前,应把待增加的容器定义成一种可以重复的业务单元。例如:
- 每个单元包含一个相同版本的API容器,采用相同CPU、内存和连接池配置。
- 每个容器承接相近的请求组合,目标到达率为40次请求/秒。
- 读写比例、返回数据大小、缓存命中率和数据库位置保持一致。
- 容器必须真正承担流量,不能只增加实例数量而仍把请求发给原有实例。
这里还要区分两种扩容:增加同一服务的副本,通常是分摊已有负载;增加新的业务或租户,则会连同请求量、数据集和连接数一起增长。二者不能使用同一条“每加一个容器增加多少资源”的曲线。
本文后续采用第二种场景:新增相似业务容器,每个都带来新增负载。文中的监控数值是用于解释方法的参考案例,不代表A5IDC某台服务器的实测表现。
先设业务门槛,再观察资源上限
以下是一组可执行的示例验收条件:
| 维度 | 示例条件 | 作用 |
|---|---|---|
| 响应时间 | P95不超过150毫秒,P99不超过300毫秒 | 限制常见慢请求和长尾延迟 |
| 成功率 | 超时及业务失败比例不超过0.5% | 防止用快速失败制造高吞吐 |
| 处理能力 | 成功吞吐接近目标到达率,积压不持续增长 | 验证服务是否跟得上输入 |
| CPU | 计划运行区间内平均不超过约70% | 为突发流量及后台任务留空间 |
| 内存 | 无持续增长,无OOM,保留可用内存缓冲 | 防止短时通过、长时失效 |
| I/O与网络 | 无持续排队,业务所需带宽未逼近可用边界 | 排除CPU之外的瓶颈 |
这些数值应由业务调整,而不是当作所有服务器的通用标准。后台批处理可以容忍较长响应时间;交互式接口通常更重视长尾;有严格时效要求的任务还需要单独限制队列等待时间。
容量验收的对象是“某种工作负载在某个规模下的表现”,不是服务器能启动多少个容器。
二、指标含义:哪些数字需要放在一起看
并发、吞吐和响应时间不是同一个指标
并发数表示同时处于处理或等待状态的请求数;吞吐表示单位时间内完成多少请求;响应时间表示一次请求从发出到得到结果需要多久。
在稳定状态、观察边界一致的前提下,可以用下面的关系做交叉检查:
平均在途请求数 ≈ 每秒完成请求数 × 平均响应时间(秒)。
例如,服务每秒完成960个请求,平均响应时间为0.08秒,平均在途请求数约为:
960 × 0.08 = 76.8,即约77个。
如果吞吐没有继续增加,平均响应时间却从80毫秒升到200毫秒,在途请求就可能增长到约192个。这通常意味着更多时间花在排队或等待上,而不是服务器处理得更快。
这里必须使用平均响应时间,不能直接把P95或P99代入公式;有持续积压的过载阶段,也不能简单按稳态关系推算。
测试时优先采用固定到达率模型,并记录“计划发送量、实际发送量、成功完成量”。只设置固定虚拟用户数,可能在响应变慢后自动降低发压速度,反而让过载服务器看起来很稳定。
平均CPU会掩盖局部瓶颈
EPYC 7313通常对应16核32线程,但具体服务器是否完整提供这些计算资源,应以交付配置和系统识别结果为准。32个逻辑线程也不能简单视为32个独立物理核心的等价能力。
主机平均CPU为50%,仍可能存在以下情况:
- 一个关键线程所在的核心已经饱和。
- 容器达到CPU配额,被调度限流。
- 请求在等待数据库、磁盘或网络。
- 线程池或连接池已满,其余CPU无任务可做。
因此,除了整体CPU,还需要查看逐核利用率、容器CPU限流、运行队列和压力指标。docker stats中容器CPU达到100%,在常见Linux环境下通常表示约占用一个逻辑CPU的计算时间,并不等于整台主机跑满;核算时要统一口径。
内存余量不等于“64GB减去容器内存之和”
标称64GB内存并不意味着业务可以使用全部容量。内核、宿主机进程、容器运行时、文件缓存和其他服务都需要内存,不同工具对缓存的扣除方式也可能不同。
实际判断时应同时观察:
- 主机的
MemAvailable及其长期变化。 - 容器工作集、匿名内存、峰值和配置上限。
- 回收压力、Swap活动以及OOM事件。
MemAvailable比单看free更适合估计主机还能承接多少新增需求,但它也不是可以全部消耗的业务预算。应用堆内存、缓冲区、连接池以及高并发期间的临时对象,都可能在负载上升后继续增长。
本文内存测量和预算统一采用GiB口径,1GiB等于1024³字节。产品标称容量与系统显示值之间不直接做未经核验的等同换算。
I/O、连接与带宽会改变CPU的解释
CPU空闲而响应变慢,不一定说明服务器还有充足余量。日志、数据库或临时文件的写入可能增加磁盘等待;共享数据库连接池满后,请求也会在应用内部排队。
网络同样要按业务数据量核算。例如,成功吞吐为1000次/秒,平均每次响应体为20KB,按十进制口径计算:
1000 × 20KB = 20MB/秒;20 × 8 = 160Mbps。
这是响应体本身的速率估算,还未包含请求数据、协议开销、重传和其他业务流量。需要将它与该服务器实际交付的端口及带宽条件比较,不能从CPU型号推断网络容量。
三、影响变量:哪些条件会让阶梯曲线失去可比性
先核对硬件与运行边界
EPYC 7313+64GB只描述了部分资源。磁盘类型、阵列方式、内存通道配置、网络条件和服务依赖,都可能改变容器数量增加后的表现。
测试前可以用只读命令确认基本环境:
lscpu
free -h
grep -E 'MemTotal|MemAvailable|SwapTotal|SwapFree' /proc/meminfo
docker stats --no-stream
Docker命令适用于使用Docker且当前账号具备读取权限的环境;其他运行时应使用相应工具。还要核对容器CPU配额、内存限制、运行时版本以及是否存在其他任务争用资源。若系统提供相关指标,应同时记录CPU限流和压力变化。
这些信息用于明确边界,而不是为了堆砌配置。若数据库与API同机运行,新增容器会直接争用同一组资源;若数据库在另一台主机,测试则必须同时监控数据库,否则无法判断瓶颈究竟在哪里。
香港节点要区分“服务器处理”与“用户访问”
香港服务器的外部响应时间包含网络往返、连接建立、服务处理和响应传输。不同用户地区、运营商及时间段的结果可能不同。
因此,应分两层验证:
- 使用独立压测机,在低延迟、稳定连接下测试服务器容量,避免发压机与被测服务争抢CPU和内存。
- 从目标用户地区验证端到端响应,检查网络条件是否使业务延迟越界。
近端测试用于解释服务器余量,外部测试用于验收用户体验。如果近端P99稳定而外部P99明显增加,应检查网络与传输因素;如果两者同时恶化,并伴随CPU限流或I/O排队,才更有理由将问题归因于服务端容量。
固定请求组合,也要保留不利场景
只压测轻量健康检查接口,无法推算真实业务容量。请求样本应覆盖主要读写接口、常见返回大小,以及较高成本但确实会发生的操作。
缓存尤其容易影响结果。热缓存下的容量可以指导常态运行,却不能直接覆盖冷启动、缓存失效或数据集增大的情况。较合理的做法是以正常命中率建立主曲线,再对候选规模补测较低命中率、后台任务同时运行等场景。
每轮还应保持镜像版本、连接池、日志级别、数据规模和容器限制一致。测试中途调整配置后,原有结果只能作为调整前的对照,不能与新结果直接拼成一条容量曲线。
四、执行阶梯压测:先加容器,再测候选规模的负载余量
第一轮:让容器数量与业务负载一起增长
可以从较低规模开始,依次测试8、16、24、28、32个容器。前段用较大的步长寻找范围,接近拐点后缩小步长,避免从“正常”直接跳到“严重过载”。
每一级可按以下顺序执行:
- 完成启动和预热,确认全部容器健康且确实收到请求。
- 将请求到达率逐步提高到本级目标,避免启动过程污染稳定期数据。
- 在稳定窗口内记录吞吐、分位延迟、失败率和资源状态。
- 比较窗口前后,确认请求积压、内存及连接数没有持续增长。
- 达到停止条件时中止加压,恢复正常负载后检查服务能否回到基线。
探索阶段可先观察5至10分钟;候选容量需要更长的持续测试,例如30至60分钟,并覆盖业务中的周期任务。存在慢速内存增长或数小时才出现的后台作业时,还需延长观察时间。
延迟阈值不能只在最后一秒检查。持续越过P99门槛、错误率超标、出现OOM或队列不可控增长,都应作为停止条件。生产环境不宜直接寻找崩溃点;优先在隔离环境复现,再在低风险窗口验证计划容量。
第二轮:固定容器数量,单独提高请求量
第一轮回答“容器和业务一起增加会怎样”,第二轮回答“当前规模还能承接多少流量”。
例如,将24个容器固定不变,从960次请求/秒逐步提高到1080、1200、1320次请求/秒。此时不再增加容器,观察吞吐是否仍随输入增长,以及P99、连接等待和CPU限流是否开始加速恶化。
这一步很重要:增加容器并不总会增加处理能力。若宿主机CPU或共享数据库已经接近边界,更多容器可能只带来更多争抢、连接和上下文切换。

核实发压端是否真正达到目标
如果计划发送1200次请求/秒,但发压机只能发出900次,就不能据此认为服务器在1200次请求/秒下表现正常。应记录实际发送率、未能按计划发出的请求,以及发压机CPU、连接和网络状态。
主机侧可辅助采集:
vmstat 1 10
iostat -xz 1 10
iostat需要环境中已安装sysstat。分析时通常应区分首次输出的累计统计与随后各采样周期的数据。磁盘利用率只能辅助判断,尤其在NVMe或并行存储环境下,还需结合延迟、队列及应用等待时间,不能仅凭一个百分比宣布磁盘已经饱和。
五、结果解释:如何从曲线中算出可增加数量
下面的参考结果采用每容器40次请求/秒的目标负载。内存列表示MemTotal − MemAvailable,用于统一比较主机内存压力,不是所有容器工作集的简单相加。
| 容器数 | 目标到达率(次/秒) | 成功吞吐(次/秒,约值) | 主机CPU | 内存压力占用(GiB) | P95/P99(毫秒) |
|---|---|---|---|---|---|
| 8 | 320 | 320 | 24% | 19 | 28 / 90 |
| 16 | 640 | 639 | 45% | 29 | 58 / 120 |
| 24 | 960 | 959 | 66% | 40 | 95 / 195 |
| 28 | 1120 | 1116 | 76% | 46 | 145 / 290 |
| 32 | 1280 | 1205 | 88% | 51 | 260 / 580 |
| 36 | 1440 | 1180 | 94% | 57 | 620 / 1500 |
目标到达率与成功吞吐的差值不能直接当作错误率,差额还可能来自尚未完成的请求或压测端未按计划发送。必须结合实际发送量、完成量、错误和积压分别核算。
识别吞吐与延迟同时转向的位置
8至24个容器时,成功吞吐基本跟得上目标,CPU逐步增加,延迟仍在门槛内。
28个容器时,P99达到290毫秒,接近300毫秒门槛。即使成功率和积压检查均通过,它也只能视为接近边界的已验证点,而不是适合立即用满的计划容量。
32个容器时,输入继续增加,成功吞吐却明显跟不上,P99升至580毫秒。36个容器时,成功吞吐反而下降,说明增加容器已经没有转化为有效处理能力。

当新增容器带来的主要变化是排队更长,而不是成功吞吐提高,就不应继续按剩余CPU百分比外推容量。
用边际增量估算内存,但不能替代负载验证
在16至24个容器之间,内存压力占用从29GiB增加到40GiB,新增8个容器带来约11GiB增量:
每新增容器的边际内存增量 ≈ 11 ÷ 8 = 1.375GiB。
预算时可取约1.4GiB,并结合多轮峰值修正。这个增量包含新增业务引起的相关开销,不等同于单个容器的固定内存限制。
继续使用本例:系统实际报告的MemTotal为62GiB,计划至少保留10GiB可用缓冲,则内存压力占用上限为52GiB。24个容器当前占用约40GiB,粗略可容纳的新增数量为:
向下取整[(52 − 40)÷ 1.4]= 8个。
这意味着内存粗算允许规模接近32个,但表格已显示32个容器不能通过延迟验收。所以最终容量不能取内存计算结果,而应受更早出现的业务性能边界约束。
计算计划容量与实际可增加数量
本例中,28个容器可以作为接近业务门槛的候选上边界;24个容器的CPU约66%,P99为195毫秒,更适合作为计划运行点。
进一步固定24个容器提高请求量。若补测确认1200次请求/秒仍能满足延迟、成功率和积压要求,但资源已明显逼近压力区间,则以20%的吞吐缓冲折算:
计划吞吐 = 1200 × 80% = 960次请求/秒。
这与24个容器、每个40次请求/秒的常态负载对应。不过,20%只是本例的管理取值,不是通用安全系数;业务波动大、后台任务重或依赖不稳定时,应保留更多空间。
如果当前运行16个同类容器,那么本轮验证支持的可增加数量就是:
24 − 16 = 8个。
若同时预计现有业务新增150次请求/秒,按每个业务单元40次请求/秒折算,需要预留约4个单元的负载预算。因此,对外承接的新业务不宜再直接用满8个名额,可先安排4个,再依据增长后的实际监控复测。这里预留的是负载,不代表必须提前启动4个空容器。

六、决策边界:什么时候必须复测,而不是继续套用旧结果
容器数量预测只能在相似条件下有效。上述“还能增加8个”的判断,同时绑定了镜像版本、请求组合、每容器负载、数据规模和依赖状态;不能转用到高内存任务或写密集型服务。
以下变化应触发复测:
- 镜像、运行时或框架升级,线程模型、内存行为发生变化。
- 每容器请求量增加,读写比例、响应大小或缓存命中率改变。
- 数据库迁移、连接池调整,或引入新的共享依赖。
- 磁盘、带宽、CPU配额、内存限制等交付或运行条件变化。
- 新增备份、日志处理、定时任务,或开始混部其他服务。
- 容器数未变,但P99、内存压力或请求积压持续上升。
不同瓶颈需要不同措施。CPU配额导致的限流,应先核对配额与线程配置;连接池排队,应核对下游可承接能力,不能盲目扩大连接数;内存持续增长,应先区分正常缓存与异常增长;磁盘等待明显,则需要评估读写路径和存储能力。调整后必须重新验证,不能默认优化必然扩大容量。
对于A5IDC香港EPYC 7313+64GB服务器,容量记录建议同时保留“计划容器数、每容器峰值负载、持续测试时长、P99、成功率、资源峰值和复测条件”。下一次增加容器前,用相同工作负载重跑计划点和相邻一级;只有新增规模仍满足业务门槛、没有持续积压,并且增长与后台任务所需缓冲仍然存在,才将其纳入可运行容量。
围绕容器化应用、接口服务与数据库等负载,A5数据提供香港物理服务器租用,涵盖AMD EPYC等平台,并有不同内存、SSD或NVMe存储及网络线路配置,可为业务部署和资源规划提供硬件基础。除香港外,A5数据还提供美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的服务器资源,覆盖多地区业务的部署需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3079.html



