在美国服务器部署API,如何通过压测确定并发承载边界?

发布人:A5数据发布时间:2026-10-13 11:55阅读量:126

美国服务器上的 API 能承载多少并发,不能只看服务器配置中的 CPU 核数或内存容量。真正需要确定的是:在指定请求类型、指定流量区域和指定依赖条件下,系统能够持续处理多少请求,同时让 p95、p99 延迟、错误率和资源利用率都处于可接受范围内。这个范围才是可用于发布和扩容决策的并发承载边界。

压测结果通常应同时给出两个数字:一个是“测试上限”,即在验收条件下通过的最大吞吐;另一个是“生产运行上限”,即为流量波动、突发请求和版本变化预留余量后的运行值。例如,某 API 在美国节点以 180 RPS 运行 10 分钟时满足 p95 不超过 300 ms、p99 不超过 800 ms、错误率低于 0.5%,那么 180 RPS 可以作为短时验证边界,但日常运行值可能只取 135~145 RPS,而不是直接把 180 RPS 当成长期目标。

一、先把“承载边界”定义成验收条件

压测前首先要回答的不是“开多少并发”,而是“什么结果才算能承载”。没有明确的验收条件,测试很容易变成单纯追求更高的 QPS,最后得到一个无法用于生产的数字。

1. 区分并发、吞吐和连接数

API 性能测试中至少有三个容易混淆的概念:

  • 吞吐量:单位时间内完成的请求数,通常使用 RPS 或 QPS 表示。
  • 请求并发数:同一时刻处于处理中的请求数量。
  • 连接并发数:客户端与服务器之间处于建立状态的 TCP 或 TLS 连接数量。

三者并不等价。启用 HTTP Keep-Alive 时,一条连接可以连续承载多个请求;一个请求处理较慢时,只需要较少连接也可能形成较高的请求并发;反过来,大量空闲长连接也不一定会产生高吞吐。

在系统处于稳定状态时,可以使用下面的关系进行粗略估算:

平均请求并发数 ≈ 吞吐量 × 平均响应时间(秒)

例如,API 稳定处理 180 RPS,平均响应时间为 180 ms,则平均请求并发数约为:

180 × 0.18 = 32.4

这不表示服务器只能承载 32 个并发客户端,也不表示压测工具必须设置 32 个虚拟用户。它只是用来解释吞吐、响应时间和请求队列之间的关系。响应时间上升时,即使吞吐量没有变化,请求并发数也会增加。

2. 为不同接口设置不同的性能目标

健康检查接口、只读查询接口、复杂报表接口和写入接口的资源消耗通常不同,不能用同一个延迟标准笼统验收。可以按业务重要性建立类似下面的目标:

指标示例验收条件说明
成功请求吞吐达到目标 RPS 且持续 10~15 分钟统计完成的有效请求,不只看压测工具发出的请求
p50 延迟不超过 100~150 ms反映大多数请求的基础处理效率
p95 延迟不超过 300 ms适合作为主要交互接口的核心判断值
p99 延迟不超过 800 ms用于观察长尾请求和排队现象
业务错误率低于 0.5%,关键写操作可设置更低5xx、超时和业务失败应分别统计
CPU 利用率长时间运行建议低于 70%~75%不是绝对限制,需要结合延迟和队列判断
内存无持续增长、无明显频繁回收关注泄漏、缓存膨胀和运行时垃圾回收
I/O 等待无持续上升,通常控制在较低水平高 I/O 等待可能说明磁盘、日志或数据库成为瓶颈
资源恢复降载后队列、连接池和延迟回到基线无法恢复通常不属于可持续容量

这些数值是便于说明方法的参考条件,实际阈值应按照接口类型和业务容忍度确定。对于支付、订单、库存等写操作,错误率、重复提交和数据一致性往往比单纯的平均延迟更重要。

3. 统计有效吞吐,而不是只看发压速率

压测工具可能按照 200 RPS 发起请求,但如果其中一部分超时、被连接池阻塞或返回 5xx,服务器并没有真正完成 200 个有效业务请求。因此结果至少应同时记录:

  • Offered RPS:压测端计划发送的速率;
  • Completed RPS:服务器完成响应的速率;
  • Successful RPS:返回符合业务预期的速率;
  • Error RPS:5xx、超时、连接失败和业务失败的速率。

当 Offered RPS 继续增加,而 Completed RPS 停止增长、响应时间快速上升时,通常说明系统进入排队或饱和状态。此时继续提高压测并发,只会放大延迟和错误,不会得到更有价值的容量数据。

二、美国服务器压测需要固定哪些环境变量

美国服务器的测试结果会受到访问区域、网络路径和部署拓扑影响。同一套 API 部署在美国东部和美国西部,即使应用代码相同,来自欧洲、亚洲或北美不同地区的网络往返时间也可能不同。因此,压测报告应写明“从哪里发压”,不能只记录服务器所在国家。

1. 分离应用处理时间和网络时间

建议至少安排两类测试:

  1. 近端测试:将压测机放在与美国服务器相近的区域,用于观察应用、数据库和本机资源的真实处理能力。
  2. 远端测试:从实际用户主要分布区域发压,用于评估 DNS、跨区域链路、TLS 握手、网络抖动和端到端体验。

近端测试适合回答“服务器和应用能处理多少请求”,远端测试适合回答“用户实际访问时的 p95 和 p99 是多少”。如果只从亚洲某台机器测试美国服务器,网络延迟和跨境链路抖动可能遮盖应用本身的问题;如果只在美国同区域测试,又可能低估真实用户的端到端延迟。

两个发压端分别通过短距离路径和跨区域路径连接同一美国API服务;用测量括号区分应用侧处理范围与客户端端到端范围,不添加具体线路或地理节点

测试时还要记录以下条件:

  • 服务器所在区域和可用区;
  • 压测机所在区域;
  • 是否经过 CDN、WAF、负载均衡和 Nginx;
  • 是否复用 TCP/TLS 连接;
  • IPv4 或 IPv6 访问路径;
  • DNS 解析结果和 DNS 缓存状态;
  • 请求和响应的平均大小;
  • 是否启用压缩;
  • 是否使用缓存;
  • 数据库、缓存服务和第三方 API 所在区域。

如果生产流量经过 Nginx 或负载均衡,正式验收应包含完整链路;如果目标是分析应用进程本身,则可以先绕过边缘层进行近端测试,再单独测试完整链路。两类结果不能混成一个“服务器性能”数字。

2. 固定接口和数据条件

压测接口必须尽可能接近真实流量,而不是只压一个返回固定字符串的健康检查接口。至少应固定:

  • 请求方法、路径和参数;
  • 认证方式及认证开销;
  • 请求体和响应体大小;
  • 读写接口比例;
  • 热数据与冷数据比例;
  • 数据库记录规模;
  • 缓存命中率;
  • 分页大小;
  • 第三方依赖的响应时间;
  • 是否允许重复写入。

例如,查询接口在缓存命中时可能只消耗少量 CPU,而缓存未命中时会访问数据库并执行排序。如果压测全部使用同一个 ID,缓存命中率异常偏高,得出的容量就不能代表普通请求。

写接口还要避免对生产数据造成污染。可以使用隔离数据库、测试租户或可回收的测试数据。若必须连接外部服务,应确认对方是否有频率限制;否则外部服务返回的 429 或超时可能被误判为美国服务器自身的容量不足。

3. 确认压测机不会先达到瓶颈

压测机 CPU、网络带宽、文件描述符、端口和自身连接池都可能先于目标服务器饱和。出现以下情况时,不能直接把结果归因于 API:

  • 压测机 CPU 长时间超过 80%;
  • 压测机网络发送或接收接近网卡上限;
  • 压测工具提示无法创建新的虚拟用户;
  • 压测端出现本地连接超时;
  • 目标服务器资源仍然很低,但压测端延迟已经快速升高。

需要时可以使用多台压测机分摊流量,并确认所有压测机的系统时间、脚本版本和请求参数一致。

三、指标之间如何建立关联

单个指标通常不能直接说明瓶颈。性能分析应把延迟、吞吐、并发和资源利用率放在同一条时间线上观察。

1. 延迟:优先看分位数,不要只看平均值

平均响应时间很容易掩盖长尾。例如 99% 的请求在 100 ms 内完成,但 1% 的请求需要 10 秒,平均值可能仍然看起来可以接受。对于 API,至少需要查看 p50、p95 和 p99。

  • p50:代表中位数,适合判断基础处理速度;
  • p95:反映大多数用户能感受到的上界;
  • p99:用于发现连接池等待、慢查询、锁竞争和外部依赖抖动;
  • 最大值:容易受单次异常影响,不适合单独作为容量边界,但可用于排查极端情况。

如果吞吐量增加后 p50 基本不变,而 p99 急剧升高,通常说明部分请求开始排队,系统还没有完全失去处理能力,但已经接近饱和。此时继续加压可能很快出现大量超时。

2. 吞吐:观察是否出现平台期

在低负载阶段,吞吐量通常会随着发压速率近似增长。当 CPU、数据库连接池、磁盘或外部服务达到限制后,可能出现:

  • 发压从 100 RPS 提高到 150 RPS,完成吞吐同步增加;
  • 发压继续提高到 200 RPS,但完成吞吐只增加到 160 RPS;
  • p95、p99 延迟和错误率快速上升。

这种“吞吐平台期”通常比 CPU 百分比更能说明实际容量。服务器 CPU 只有 60%,并不代表还有 40% 的 API 容量,因为瓶颈可能在数据库连接池、锁、磁盘 I/O、上游服务或单线程事件循环。

3. CPU、内存和 I/O:寻找延迟上升的原因

建议同时观察应用进程和整台美国服务器的资源:

资源指标典型现象可能含义
用户态 CPU 持续升高延迟随 RPS 同步上升JSON 序列化、加密、计算或业务代码消耗较多
系统态 CPU 升高网络、系统调用或内核处理增加连接创建、网络包处理或系统资源压力上升
CPU 不高但 p99 很高延迟长尾明显数据库等待、锁、连接池或外部服务阻塞
内存持续增长长时间压测后延迟恶化内存泄漏、缓存无界增长或请求对象未释放
Swap 使用增加延迟突然抖动内存不足,系统开始换页
I/O 等待升高CPU 仍有余量但请求变慢磁盘、日志、数据库文件或存储系统受限
网络接近上限大响应接口延迟上升网卡带宽、出口带宽或负载均衡链路受限
数据库连接池等待增加应用线程处于等待状态数据库连接数、慢查询或数据库自身容量不足

内存“使用率高”不一定就是问题。操作系统会利用空闲内存作为文件缓存,关键是观察内存是否持续增长、是否发生 Swap、运行时回收是否频繁,以及降载后是否恢复。

4. 连接池和队列是常见的隐性瓶颈

API 进程可能拥有足够 CPU,但数据库连接池只有 20 个连接。当并发请求超过数据库处理能力时,请求会在应用连接池中等待,表现为:

  • CPU 利用率中等;
  • 平均响应时间逐渐变长;
  • p99 明显高于 p95;
  • 数据库连接池等待时间增加;
  • 降低 RPS 后延迟需要一段时间才能恢复。

因此,监控项不能只包括服务器 CPU 和内存,还应包括:

  • 应用工作线程或事件循环延迟;
  • HTTP 客户端连接池;
  • 数据库连接池使用量和等待时间;
  • Redis 或其他缓存连接数;
  • Nginx upstream 活跃连接和排队请求;
  • 请求队列长度;
  • 外部 API 响应时间和错误率;
  • GC 次数、暂停时间和堆内存变化。

四、设计一套能得到容量边界的测试

1. 使用真实的请求组合

如果生产流量由多个接口组成,不能只测试单一接口后再简单相加。可先按业务比例建立请求组合,例如:

  • 查询接口占 60%;
  • 列表接口占 20%;
  • 写入接口占 15%;
  • 鉴权或配置接口占 5%。

不同接口的资源消耗不同。一个写入请求可能包含事务、索引更新和消息投递,不能与一个简单查询请求按照同样的 RPS 估算。正式测试应使用混合流量;单接口测试则用于定位某个接口的独立瓶颈。

2. 采用逐级加压,而不是直接拉到极限

推荐使用以下测试阶段:

阶段目的参考做法
基线测试确认接口在低负载下的正常延迟1~5 RPS,持续 5 分钟
阶梯测试找到延迟和资源开始变化的位置每级增加 20~30 RPS,每级持续 5~10 分钟
压力测试找到 SLO、错误率或资源约束的突破点逐步增加速率,直到出现明确边界
稳态测试验证候选容量能否长期运行以候选值运行 30~60 分钟
突发测试观察短时流量峰值下的排队和恢复在基线或稳态上短时提升至 1.5~2 倍
降载观察判断队列和资源是否能够恢复停止加压后继续观察 5~15 分钟

每个阶梯最好保持足够时间,让连接池、缓存、JIT、GC 和数据库缓冲逐渐进入稳定状态。只运行几十秒,可能只测到启动阶段或缓存尚未建立的状态。

3. 用到达速率模型测试 RPS

如果目标是确定 API 的 RPS 边界,压测工具应尽量采用“到达速率”模型,即每秒产生固定数量的请求,而不是只设置虚拟用户数量。以 k6 为例,下面是一个单接口的示例脚本:

import http from 'k6/http';
import { check } from 'k6';

export const options = {
  scenarios: {
    api_ramp: {
      executor: 'ramping-arrival-rate',
      startRate: 20,
      timeUnit: '1s',
      preAllocatedVUs: 50,
      maxVUs: 500,
      stages: [
        { target: 50, duration: '5m' },
        { target: 100, duration: '5m' },
        { target: 150, duration: '5m' },
        { target: 180, duration: '10m' },
        { target: 220, duration: '5m' }
      ],
      gracefulStop: '30s'
    }
  },
  thresholds: {
    http_req_failed: ['rate<0.005'],
    http_req_duration: ['p(95)<300', 'p(99)<800'],
    checks: ['rate>0.995']
  }
};

export default function () {
  const response = http.get(__ENV.TARGET_URL, {
    tags: {
      endpoint: 'api_read'
    }
  });

  check(response, {
    'status is 200': (r) => r.status === 200,
    'response is not empty': (r) => r.body && r.body.length > 0
  });
}

运行时将测试地址作为环境变量传入:

TARGET_URL='https://api.example.com/v1/summary' k6 run api-load.js

这是一个用于说明方法的单接口示例。生产测试需要根据接口实际情况补充认证头、请求体、测试数据和业务校验。写接口不能简单重复固定请求,否则可能产生重复订单或重复数据;应使用隔离数据、唯一请求编号和可验证的幂等逻辑。

虚拟用户数并不等于服务器并发请求数。到达速率模型会根据响应时间动态消耗虚拟用户,如果响应变慢,压测工具可能需要更多 VU 才能维持目标 RPS。因此,必须同时检查压测端是否出现 VU 不足或本地资源饱和。

4. 监控数据必须和压测时间对齐

压测工具的结果只能说明客户端看到的延迟和错误,服务器侧还需要采集同一时间段的监控。可以使用系统监控、应用指标、Nginx 日志和数据库监控进行对照。

Linux 服务器上可使用只读命令观察基础状态:

vmstat 1
iostat -xz 1
ss -s

如果系统没有 iostat,应先确认是否已安装对应的系统监控工具;不要因为命令缺失就凭经验推断磁盘状态。生产环境不要为了压测临时修改内核参数、连接数或防火墙规则,否则测试结果会混入配置变化因素。

五、如何从测试数据判断边界

下面是一组用于说明分析方法的模拟结果。目标条件为:p95 不超过 300 ms、p99 不超过 800 ms、错误率低于 0.5%,并且稳态期间没有明显的资源持续增长。

目标速率p95p99错误率应用 CPUI/O 等待活跃请求并发
50 RPS145 ms260 ms0.05%36%1.5%8
100 RPS185 ms390 ms0.08%48%2.0%18
150 RPS245 ms610 ms0.20%62%3.5%30
180 RPS295 ms760 ms0.40%68%4.5%42
200 RPS460 ms1450 ms2.10%86%12.0%96

从这组数据看,180 RPS 是满足设定 SLO 的最高测试档位,但已经接近 p95、p99 和错误率上限。200 RPS 出现明显的长尾延迟、错误率上升和活跃请求堆积,说明系统在这个区间进入了排队或资源争用状态。

五、如何从测试数据判断边界配图

因此可以形成三个不同层次的判断:

  1. 短时验收边界:如果重复测试和稳态测试都通过,180 RPS 可以作为当前版本的测试承载上限。
  2. 生产运行目标:为了应对流量抖动、缓存变化和偶发慢请求,可以将运行目标设置在 135~145 RPS。
  3. 扩容触发点:当实际峰值持续接近 135 RPS,或 p95、p99、连接池等待时间持续上升时,应在流量超过测试上限前扩容或优化。

不能因为 CPU 只有 68% 就认为 180 RPS 还可以继续线性增加。p99 已经接近 800 ms,且错误率也接近阈值;如果继续增加并发,长尾请求可能先于 CPU 达到业务不可接受状态。

1. 根据不同现象定位瓶颈

如果 CPU、吞吐和延迟几乎同步增长,且数据库等待较低,重点应检查:

  • JSON 编解码;
  • 加密和签名;
  • 正则、排序和聚合;
  • 应用线程数;
  • 单线程事件循环;
  • 进程数量和负载均衡分配。

如果 CPU 不高,但 p99 快速增长,应重点检查:

  • 数据库慢查询;
  • 数据库连接池等待;
  • 行锁或表锁;
  • 缓存未命中;
  • 外部 API 延迟;
  • Nginx upstream 排队;
  • 网络重传和 TLS 建连。

如果内存随压测时间持续增加,短时阶梯测试可能无法暴露问题,应增加 30~60 分钟的稳态测试,并在降载后观察内存是否回落。若每次阶梯测试都留下更多连接或对象,短时间内的吞吐结果不能当作长期容量。

如果错误主要是 429,需要先确认它来自 API 的限流策略、WAF、Nginx 还是上游服务。429 不一定表示服务器资源不足,但它说明当前配置下无法接受更多请求。压测报告应把 429、5xx、连接超时和业务校验失败分开统计。

2. 判断压测机和目标服务器谁先饱和

当压测端报告延迟上升时,应同时查看目标服务器。如果目标服务器 CPU、内存、网络和应用队列都很低,而压测机 CPU 已接近满载,或者压测工具出现 VU 不足,则本次结果无效,需要增加压测机或降低单机负载。

反过来,如果压测机资源正常,但目标服务器的数据库连接池、I/O 等待或应用队列持续增加,则可以把问题归因到目标链路。只有两端时间戳一致、指标都未受到压测工具自身限制时,容量数字才具有比较价值。

六、用计算结果校验并发和带宽估算

1. 通过响应时间估算活跃请求量

假设接口在 180 RPS 下的平均响应时间为 180 ms,那么平均活跃请求量约为:

180 × 0.18 = 32.4 个请求

如果流量突发到 240 RPS,平均响应时间升至 400 ms,则活跃请求量约为:

240 × 0.40 = 96 个请求

这解释了为什么流量只增加三分之一,活跃请求数却可能增加近两倍。排队会进一步提高响应时间,形成“响应变慢—并发增加—资源等待加剧—响应更慢”的循环。

六、用计算结果校验并发和带宽估算/1. 通过响应时间估算活跃请求量配图

如果业务使用“同时在线用户”作为并发指标,还要加入用户思考时间。例如每个用户发起一次请求后等待 2 秒,不能把在线用户数直接当成 API 请求并发。容量测试应记录每秒请求量和活跃请求数,在线用户数只能作为业务流量模型的输入。

2. 估算美国服务器的网络带宽

带宽估算需要区分字节和比特。下面以十进制单位计算,1 KB 按 1,000 字节处理。

如果某接口平均响应体为 40 KB,目标吞吐为 180 RPS,则仅计算响应方向:

  1. 每秒传输字节数:180 × 40,000 = 7,200,000 字节/秒;
  2. 换算为比特:7,200,000 × 8 = 57,600,000 比特/秒;
  3. 换算为 Mbps:57,600,000 ÷ 1,000,000 = 57.6 Mbps。

这还没有包含请求体、HTTP 头、TLS、TCP/IP 和重传开销。如果请求体平均为 5 KB,则请求方向约为:

180 × 5,000 × 8 ÷ 1,000,000 = 7.2 Mbps

因此,完整链路还应分别核对入站和出站带宽,并为响应大小变化、压缩关闭和突发流量预留余量。若响应体存在大文件或批量数据,不能用平均响应体代替 p95 响应体大小。

3. 用余量计算生产运行值

设通过验收的测试边界为 180 RPS,计划预留 25% 的容量余量,则生产运行目标可以按下面方式计算:

180 ×(1 - 25%)= 135 RPS

如果实际峰值已达到 130~135 RPS,且 p95 或数据库连接池等待开始上升,就不应等到错误率超过阈值后才扩容。余量不是固定比例,流量波动越大、第三方依赖越多、接口延迟越不稳定,所需余量通常越大。

还可以把增长率纳入判断。当前峰值为 100 RPS,生产运行上限为 135 RPS,月增长率按 15% 估算:

  • 1 个月:100 × 1.15 = 115 RPS;
  • 2 个月:115 × 1.15 = 132.25 RPS;
  • 3 个月:132.25 × 1.15 ≈ 152.1 RPS。

按这个增长假设,第二个月末已经接近运行上限,第三个月会超过当前容量。实际规划还应加入活动峰值、接口结构变化和版本发布风险,不能只按平均增长率推算。

七、把结果转成扩容或优化决策

容量边界确定后,下一步不是立即增加 CPU,而是根据瓶颈类型选择处理方式。

主要瓶颈优先检查项可能的处理方向
CPU 持续接近上限应用热点、序列化、加密、线程数优化代码、增加进程或实例、调整计算任务
数据库连接池等待慢查询、索引、连接数、锁优化查询和索引,合理调整连接池,必要时拆分读写
I/O 等待升高日志、数据库文件、磁盘吞吐降低同步日志开销,使用更合适的存储,优化数据库写入
网络带宽不足响应体大小、压缩、出口限制压缩响应、减少字段、分页或调整带宽
内存持续增长缓存策略、对象生命周期、GC设置缓存上限,修复泄漏,调整运行时参数
外部服务变慢上游 p95、超时和重试设置合理超时,限制重试,使用异步化或降级
单实例达到瓶颈是否无状态、会话和缓存位置在共享依赖可承受时增加实例并进行负载均衡

增加实例并不会自动带来等比例容量提升。如果请求依赖同一个数据库、同一个缓存或同一个外部服务,应用层横向扩展后,瓶颈可能只是转移到共享组件。只有在会话、文件、缓存和任务队列等状态得到妥善处理时,横向扩容结果才适合按实例数量进行估算。

围绕美国API业务的部署与扩容,A5数据提供常规Xeon及AMD EPYC物理服务器,涵盖不同计算、内存和NVMe存储配置,为接口进程、数据库缓存与容器化服务提供资源基础。美国常规系列另有CN2 GIA线路方案,可承接跨境访问的网络需求。从应用计算到数据读写,A5数据的多档资源配置能够对接容量分析后的算力、内存与存储需求,支持业务部署方案的调整。

八、哪些变化发生后必须复测

一次压测结果只对相应的环境、版本和流量模型负责。以下变化发生后,应重新执行至少一轮基线和阶梯测试:

  • 美国服务器规格、区域或可用区变化;
  • 操作系统、运行时、Web 服务器或应用版本变化;
  • 数据库版本、索引、连接池或数据量变化;
  • 缓存策略和命中率变化;
  • 请求体、响应体或接口混合比例变化;
  • CDN、WAF、负载均衡或 TLS 配置变化;
  • 外部 API 的区域、配额或响应时间变化;
  • 压测机位置和网络路径变化;
  • 流量峰值、增长率或业务活动模型变化。

缓存还应分别测试冷缓存和热缓存。热缓存结果适合表示稳定运行状态,冷缓存结果更能暴露数据库、磁盘和首次加载的压力。两者都通过,容量结论才更接近实际运行范围。

最后,可以使用下面的判断方法固定验收口径:先记录实际流量模型,再用近端和远端两类位置测试;以 p95、p99、错误率和完成吞吐作为主条件;用 CPU、内存、I/O、网络、连接池和外部依赖指标解释原因;选择满足 SLO 的最高稳定档位作为测试边界,再根据流量波动和增长速度扣除运行余量。任何一次版本、配置、数据规模或地域链路发生变化,都应重新验证这个边界,而不是继续沿用旧的并发数字。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3505.html

相关推荐