美国服务器的网站并发访问过高,如何判断瓶颈在Web连接还是应用进程?
单看美国服务器的 CPU、内存或 TCP 连接数,都不足以判断网站并发过高时的真正瓶颈。更可靠的方式是把同一时间窗口内的 Web 连接状态、应用进程状态、线程或事件循环、连接池、队列、网络和响应结果放在一起观察:连接数上升但应用处理能力稳定,问题更接近 Web 接入层;连接数并不突出,但应用队列、线程等待或连接池等待持续增加,通常应优先检查应用进程及其共享资源。
还要注意,“并发连接数”不等于“并发请求数”。HTTP Keep-Alive 会让大量连接处于空闲状态,HTTP/2 还可能在一条连接上复用多个请求。判断瓶颈时,应沿着“客户端请求进入服务器—Web 层接收—应用进程处理—下游资源返回—响应发出”的链路建立时间关联,而不是为某个指标设一个孤立阈值。

先区分连接层和应用层
Web 连接层通常负责什么
Web 连接层包括操作系统网络栈、监听端口、TLS 握手、Nginx 或其他 Web 服务进程,以及向后端应用转发请求的过程。它更容易受到以下因素影响:
- 新建连接速率过高,导致 SYN 队列、accept 队列或文件描述符接近上限;
- TLS 握手消耗较多 CPU,尤其是短连接比例较高时;
- Web 服务工作进程数量不足,或事件循环被阻塞;
- 网卡带宽、数据包速率、重传率或出口线路出现压力;
- Web 服务到应用服务之间的连接建立、Keep-Alive 或上游队列出现等待。
连接层异常的常见表现是:客户端连接建立变慢,Web 层的 active connections、reading、writing 或握手时间明显上升,但应用进程的请求处理量并未同步增加。此时,如果应用的 CPU、线程忙碌度、数据库连接池等待和业务队列都比较平稳,就不能直接把问题归因于应用代码。
对于面向美国用户的网站和业务后台,A5数据提供美国物理服务器,涵盖常规Xeon、AMD EPYC及多IP等系列,常规产品有CN2 GIA线路方案,AMD配置可选大内存与NVMe存储。这些资源可用于承载Web服务、应用进程和数据库等不同业务环节,为网站部署与计算任务提供相应的硬件和网络选择。
应用进程通常负责什么
应用层包括进程模型、工作线程、事件循环、任务队列、数据库连接池、缓存客户端连接池以及其他共享资源。典型模型有:
- 多进程模型:多个独立 Worker 进程分别接收或处理请求;
- 线程池模型:固定或动态数量的线程执行阻塞型任务;
- 异步事件循环:少量线程处理大量 I/O,但不能长时间执行阻塞操作;
- Web 进程加任务队列:请求进程快速入队,后台 Worker 异步消费;
- 混合模型:Web 进程、应用进程和后台任务进程分别承担不同职责。
应用瓶颈不一定表现为 CPU 100%。例如线程都在等待数据库连接,进程 CPU 可能只有 40%;又或者事件循环被一个慢查询阻塞,整体 CPU 不高,但大量请求的 p95、p99 延迟持续上升。
建立一个可比较的观察窗口
不要只看故障发生后的单点截图
至少应覆盖以下几个阶段:
- 正常负载阶段,记录基线;
- 并发逐步上升阶段,观察哪个指标先发生拐点;
- 高并发维持阶段,观察队列、错误和资源是否持续积压;
- 流量回落阶段,确认积压是否释放,以及恢复速度是否正常。
常见监控系统可以采用 5 秒或 10 秒粒度进行短时排查;如果请求持续时间较长,1 分钟粒度可能掩盖瞬时尖峰。关键是所有指标使用同一时间轴,并尽量保持采样周期一致。
建议在一个观察窗口内同时记录:
| 指标类别 | 重点观察项 | 主要用途 |
|---|---|---|
| 请求流量 | 请求数、RPS、并发请求、状态码 | 确认流量是否真的增加 |
| Web 连接 | active、reading、writing、keepalive、新建连接速率 | 判断连接是否堆积在接入层 |
| 网络 | 入出站带宽、PPS、RTT、重传、丢包 | 排除线路和网卡因素 |
| Web 到应用 | 上游连接时间、上游队列、响应头时间 | 判断请求是否卡在转发或等待应用 |
| 应用进程 | CPU、系统调用、进程数、线程忙碌度、事件循环延迟 | 判断执行能力是否饱和 |
| 共享资源 | 数据库连接池、缓存连接池、锁、文件描述符 | 判断是否被下游资源限制 |
| 结果指标 | p50、p95、p99、超时、502、504、客户端断开 | 判断用户可见影响 |
应用日志、Web 访问日志和主机监控的时间必须尽量对齐。若美国服务器使用了外部监控探针,还应区分探针到服务器的网络延迟与服务器内部处理时间,不能把跨区域 RTT 全部算成应用耗时。
先看连接指标如何变化
连接数上升不代表连接层已经成为瓶颈
可以先把连接分为新建连接、正在读取请求、正在写回响应和空闲 Keep-Alive 连接。
如果 active connections 从 300 增加到 3000,但其中 2700 条长期处于 keepalive 状态,同时 RPS、Web 工作进程 CPU 和应用响应时间都没有明显变化,这更像是连接复用或客户端连接保持时间较长,而不是处理能力已经耗尽。
相反,如果出现以下联动,连接层的优先级就会提高:
- 新建连接速率快速升高;
- SYN-RECV 或监听队列持续增加;
- TLS 握手耗时和系统态 CPU 同时升高;
- Web 服务的 reading 或 writing 数量增加;
- 上游应用收到的请求量没有同步增加;
- 客户端连接超时、连接重置或 499 类断开增多;
- 文件描述符接近限制,或者 accept 失败、listen overflow 等内核计数增加。
这里的关键不是“连接数超过多少”,而是连接数增加后,后续链路有没有跟着增长。若 Web 层连接数增长、应用请求量不增长,说明请求可能尚未进入应用;若连接数和应用请求量同步增长,但响应时间只在应用队列增大后上升,则更接近应用侧瓶颈。
用连接状态判断请求是否真的在等待
不同 Web 软件的状态名称略有差异,但分析思路基本一致:
reading增多:可能是客户端上传慢、请求体较大,或者网络接收受限;writing增多:可能是应用响应慢、客户端读取慢,或出口带宽不足;keepalive增多:通常代表连接保持,并不直接代表应用繁忙;- 新连接增多且握手耗时上升:应检查短连接比例、TLS 负载和客户端连接策略;
- Web 层到上游的连接等待增多:需要继续观察应用进程和上游连接池,不能只停留在 Web 层结论。
对于 Nginx,可以在访问日志中记录请求总耗时和上游耗时,例如记录 $request_time、$upstream_connect_time、$upstream_header_time、$upstream_response_time 等字段。具体变量是否可用,取决于正在使用的 Nginx 版本和配置,修改前应先确认现有日志格式并在低风险环境验证。
再看应用进程、线程和队列
CPU 高低必须结合运行队列
应用进程 CPU 长时间接近全部核心的可用算力,同时系统运行队列增长、响应时间上升,通常说明 CPU 执行能力不足。还要区分是用户态 CPU 还是系统态 CPU:
- 用户态 CPU 高,可能是业务计算、序列化、压缩、模板渲染或垃圾回收消耗;
- 系统态 CPU 高,可能与网络包处理、TLS、频繁系统调用、上下文切换有关;
iowait高,说明进程可能在等待磁盘或其他 I/O;- CPU 总量不高但运行队列持续增加,可能是单核心热点、进程绑核或少量事件循环线程被阻塞。
多进程服务还要检查进程之间是否均衡。有时总 CPU 只有 50%,但某个单线程 Worker 已经接近 100%,导致分配到该 Worker 的请求延迟升高。把所有进程的平均 CPU 相加,可能会掩盖这种局部饱和。
线程数量不等于处理能力
线程池容量应与任务类型、下游资源和内存共同判断。线程数过少时,请求会排队;线程数过多时,可能出现:
- 上下文切换增加;
- 数据库连接同时被大量占用;
- 锁竞争加重;
- 单个进程 RSS 增长;
- 线程都阻塞在同一个下游服务,吞吐没有提升。
因此应同时观察线程总数、忙碌线程数、空闲线程数、线程等待时间和线程池队列深度。如果线程池队列持续增加,而 CPU 并不高、数据库连接池等待明显,优先级应放在数据库或连接池容量和查询耗时,而不是继续盲目增加线程。
异步事件循环也有类似问题。事件循环线程数量少并不等于配置错误,但如果事件循环延迟从几十毫秒升到几百毫秒,同时应用 CPU 只有中等水平,常见原因包括同步文件操作、阻塞式客户端调用、慢日志输出或长时间计算占用了事件循环。
队列是连接层与应用层之间的重要证据
需要分清以下几类队列:
- 操作系统监听队列:请求尚未被 Web 服务正常接收;
- Web 到应用的上游队列:Web 服务已接收请求,但后端连接或 Worker 不足;
- 应用线程池队列:请求已经进入应用,但没有可用线程;
- 业务任务队列:请求已转为异步任务,等待后台消费者处理;
- 数据库或缓存连接池等待队列:应用线程被共享资源卡住。
队列长度本身并不能证明根因,还应看队列等待时间和消费速率。一个长度为 100、每秒能消费 1000 个任务的短队列,影响可能小于一个长度为 10、每秒只能消费 1 个任务的队列。
可以使用下面的关系帮助判断:
在稳定流量下,并发中的请求数大致等于请求速率乘以平均响应时间。
例如,RPS 为 200、平均响应时间从 0.2 秒升至 1.5 秒时,在途请求量的估算值会从约 40 增加到约 300。这个估算不等同于 TCP 连接数,但可以帮助判断“连接数变多”究竟是流量增加导致,还是应用处理变慢导致。
把多个指标放在同一时间线上
下面是一组模拟监控数据,用于说明分析方法,并非某台美国服务器的实测结果。
| 时间 | RPS | Web 活跃连接 | 上游等待 | 应用线程忙碌度 | 数据库池等待 | p95 响应时间 | 5xx |
|---|---|---|---|---|---|---|---|
| 10:00 | 80 | 120 | 0 | 28% | 0 | 180 ms | 0.1% |
| 10:05 | 180 | 520 | 3 | 47% | 0 | 260 ms | 0.2% |
| 10:10 | 220 | 1,600 | 8 | 50% | 1 | 1.1 s | 0.6% |
| 10:15 | 220 | 2,100 | 11 | 51% | 1 | 1.4 s | 0.8% |
这组数据中,活跃连接增长明显,但应用线程忙碌度和数据库池等待变化不大。下一步应继续拆分连接状态、TLS 时间、出口带宽和客户端读取速度。如果大量连接处于 writing,且出口带宽接近上限,网络发送或慢客户端可能比应用进程更值得优先检查。
另一组模拟数据如下:

| 时间 | RPS | Web 活跃连接 | 上游队列 | 应用 CPU | 线程池等待 | 数据库池等待 | p99 响应时间 | 504 |
|---|---|---|---|---|---|---|---|---|
| 14:00 | 150 | 260 | 1 | 42% | 4 | 0 | 420 ms | 0.1% |
| 14:05 | 190 | 330 | 18 | 58% | 75 | 12 | 1.8 s | 1.2% |
| 14:10 | 190 | 380 | 41 | 61% | 180 | 39 | 4.7 s | 7.5% |
| 14:15 | 185 | 360 | 46 | 59% | 205 | 51 | 5.2 s | 9.1% |
这里的连接数没有达到第一组那样的规模,但应用线程池、数据库连接池和上游队列同步增加,p99 与 504 也沿着相同时间趋势恶化。更合理的判断是应用处理能力或下游共享资源不足,而不是单纯的 Web 连接数量过多。
排除容易混淆的替代解释
网络带宽满不等于应用进程慢
如果出站带宽接近端口或线路容量,Web 连接的 writing 状态和响应时间可能一起上升。此时应用已经生成响应,但数据无法及时发给客户端。应同时检查:
- 入站和出站带宽;
- 每秒数据包数;
- TCP 重传和丢包;
- 网卡错误;
- 客户端读取速度;
- 响应体大小是否在高峰期突然增加。
带宽使用率不高时,也不能完全排除网络问题。高 PPS、小包、重传或跨区域 RTT 都可能造成延迟。美国服务器面对不同地区访问者时,客户端到机房的距离、运营商路径和国际链路质量会影响建连时间,但这些因素不会自动说明应用进程已经饱和。
数据库慢会伪装成线程不足
应用线程都在等待数据库连接或查询结果时,表现可能是:
- 应用 CPU 中等或偏低;
- 线程池忙碌度接近满载;
- 数据库连接池等待持续增加;
- 请求 p95、p99 延迟拉长;
- 数据库端查询耗时、锁等待或磁盘 I/O 上升;
- Web 层出现上游等待和 504。
此时增加应用进程或线程,往往会让更多请求同时压向数据库,可能使锁竞争和超时进一步扩大。应先确认查询耗时、连接池大小、数据库最大连接数、锁等待和慢查询,再决定是否调整应用并发。
内存和垃圾回收也可能造成间歇性延迟
如果 RSS 持续增长、内存回收频繁、Major Page Fault 增多,或者系统开始使用 Swap,应用可能出现周期性长尾延迟。此时 CPU 可能在垃圾回收或内存管理上升高,也可能因为等待内存而表现为 CPU 不高。
应把进程 RSS、堆使用量、垃圾回收暂停时间、Swap 使用量、缺页情况与 p99 响应时间对齐。不能只看到“内存还有余量”就排除内存问题,因为进程自身的堆上限、容器限制或文件描述符限制可能先于整机内存达到瓶颈。
连接数高可能只是客户端行为变化
短时间大量连接可能来自页面资源数量增加、客户端没有复用连接、健康检查配置变化或某个调用方的重试风暴。检查访问日志中的客户端地址、User-Agent、请求路径、HTTP 协议版本、Keep-Alive 情况和重试比例,通常比只看全局连接数更有价值。
如果同一个接口在 5xx 后被客户端快速重试,RPS 可能被错误放大,应用队列也会随之增长。此时需要把原始请求、重试请求和健康检查流量分开统计。
形成判断时使用“关联组合”
可以用下面的组合做初步归类,但它们不是脱离上下文的固定阈值。
| 观察组合 | 更可能的方向 | 需要继续确认的证据 |
|---|---|---|
| 活跃连接、新建连接、TLS 时间同时升高,应用请求量基本不变 | Web 接入或网络建连 | SYN/accept 队列、文件描述符、系统态 CPU、重传 |
| Keep-Alive 连接很多,但请求速率、应用队列和延迟稳定 | 连接保持,并非明确瓶颈 | 空闲连接占比、超时时间、内存和 FD |
| Web 上游队列上升,应用线程池队列和处理延迟同步上升 | 应用进程或应用线程不足 | 每进程 CPU、线程忙碌度、事件循环延迟 |
| 应用 CPU 高且运行队列高,p95/p99 同步升高 | CPU 计算或进程容量不足 | 用户态/系统态 CPU、热点函数、进程分布 |
| CPU 不高,但数据库或缓存连接池等待持续增加 | 共享资源或下游服务瓶颈 | 池活跃数、池等待时间、下游响应和锁 |
| writing 连接和出口带宽接近上限,应用生成响应正常 | 网络发送或慢客户端 | 响应体大小、PPS、重传、客户端读取 |
| 进程数量增加后 RSS、上下文切换和长尾延迟上升 | 进程或线程扩容过度 | 单进程内存、上下文切换、锁和下游连接数 |
最终判断应尽量写成带条件的因果链,例如:“在 RPS 基本不变时,上游队列和线程池等待持续增加;数据库连接池等待也同步出现,而 Web 新建连接、带宽和 TLS 时间稳定,因此优先判定为应用到数据库之间的共享资源瓶颈。”这种表述比“连接数超过某值所以服务器不够用”更可复核。

用低风险方式补齐主机侧证据
Linux 主机可以先使用只读命令查看连接和系统状态。不同发行版的工具版本和权限要求可能不同,执行前应先确认命令是否存在。
ss -s
ss -lntp
vmstat 1
pidstat -p ALL -u -r -w 1
这些命令分别可用于查看套接字汇总、监听端口和进程、运行队列与 I/O 概览,以及进程级 CPU、内存和上下文切换。ss -lntp 在部分系统上需要更高权限才能显示进程信息,不应为了查看信息而直接修改权限或停止服务。
应用侧应优先接入指标,而不是依赖进程列表猜测。至少应暴露:
- 当前请求数和请求耗时分位数;
- 每个进程或 Worker 的处理请求数;
- 线程池总量、忙碌量、空闲量和排队时间;
- 数据库、缓存、HTTP 客户端连接池的活跃数与等待数;
- 事件循环延迟或任务执行延迟;
- 超时、取消、重试、熔断和降级次数;
- 进程 RSS、垃圾回收暂停和文件描述符使用量。
若需要临时修改线程数、连接池上限或 Web Worker 数量,应先记录原配置、确认内存和下游服务的承载范围,并在可回滚窗口内逐项调整。不要同时改变多个参数,否则即使响应时间改善,也无法判断究竟是哪项变化产生了作用。
复测时验证“瓶颈是否移动”
完成初步判断后,应在相近流量和相同接口结构下复测。复测不只看平均响应时间,还要比较以下变化:
- Web 活跃连接是否仍持续堆积;
- 上游队列是缩短还是转移到应用线程池;
- 应用 CPU 是否从过低变为合理利用,还是出现新的核心饱和;
- 数据库或缓存连接池等待是否扩大;
- p95、p99 和超时率是否同时改善;
- 流量回落后,队列和连接是否能按预期释放;
- 进程 RSS、文件描述符和上下文切换是否出现新的长期增长。
例如,将应用线程数从 50 调到 100 后,Web 上游队列下降,但数据库池等待从 10 增加到 80,说明原来的应用队列被转移成数据库连接池队列,不能把这次变化视为完整修复。相反,如果线程池等待下降、数据库查询耗时稳定、p99 降低且内存没有异常增长,才说明该调整在当前负载下具备依据。

下一次发生高并发告警时,建议把下面这组指标放在同一张时间图中:RPS、active connections、新建连接速率、reading/writing/keepalive、上游连接与响应时间、应用进程 CPU、运行队列、线程池等待、数据库或缓存连接池等待、带宽与重传、p95/p99、502/504 及客户端断开数。只有这些指标在同一时间语境下共同变化,才能较准确地判断问题究竟停留在 Web 连接、应用进程,还是已经转移到了共享资源和下游服务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5466.html


