美国服务器的网站并发访问过高,如何判断瓶颈在Web连接还是应用进程?

发布人:A5数据发布时间:2026-10-24 11:12阅读量:59

单看美国服务器的 CPU、内存或 TCP 连接数,都不足以判断网站并发过高时的真正瓶颈。更可靠的方式是把同一时间窗口内的 Web 连接状态、应用进程状态、线程或事件循环、连接池、队列、网络和响应结果放在一起观察:连接数上升但应用处理能力稳定,问题更接近 Web 接入层;连接数并不突出,但应用队列、线程等待或连接池等待持续增加,通常应优先检查应用进程及其共享资源。

还要注意,“并发连接数”不等于“并发请求数”。HTTP Keep-Alive 会让大量连接处于空闲状态,HTTP/2 还可能在一条连接上复用多个请求。判断瓶颈时,应沿着“客户端请求进入服务器—Web 层接收—应用进程处理—下游资源返回—响应发出”的链路建立时间关联,而不是为某个指标设一个孤立阈值。

先区分连接层和应用层配图

先区分连接层和应用层

Web 连接层通常负责什么

Web 连接层包括操作系统网络栈、监听端口、TLS 握手、Nginx 或其他 Web 服务进程,以及向后端应用转发请求的过程。它更容易受到以下因素影响:

  • 新建连接速率过高,导致 SYN 队列、accept 队列或文件描述符接近上限;
  • TLS 握手消耗较多 CPU,尤其是短连接比例较高时;
  • Web 服务工作进程数量不足,或事件循环被阻塞;
  • 网卡带宽、数据包速率、重传率或出口线路出现压力;
  • Web 服务到应用服务之间的连接建立、Keep-Alive 或上游队列出现等待。

连接层异常的常见表现是:客户端连接建立变慢,Web 层的 active connections、reading、writing 或握手时间明显上升,但应用进程的请求处理量并未同步增加。此时,如果应用的 CPU、线程忙碌度、数据库连接池等待和业务队列都比较平稳,就不能直接把问题归因于应用代码。

对于面向美国用户的网站和业务后台,A5数据提供美国物理服务器,涵盖常规Xeon、AMD EPYC及多IP等系列,常规产品有CN2 GIA线路方案,AMD配置可选大内存与NVMe存储。这些资源可用于承载Web服务、应用进程和数据库等不同业务环节,为网站部署与计算任务提供相应的硬件和网络选择。

应用进程通常负责什么

应用层包括进程模型、工作线程、事件循环、任务队列、数据库连接池、缓存客户端连接池以及其他共享资源。典型模型有:

  • 多进程模型:多个独立 Worker 进程分别接收或处理请求;
  • 线程池模型:固定或动态数量的线程执行阻塞型任务;
  • 异步事件循环:少量线程处理大量 I/O,但不能长时间执行阻塞操作;
  • Web 进程加任务队列:请求进程快速入队,后台 Worker 异步消费;
  • 混合模型:Web 进程、应用进程和后台任务进程分别承担不同职责。

应用瓶颈不一定表现为 CPU 100%。例如线程都在等待数据库连接,进程 CPU 可能只有 40%;又或者事件循环被一个慢查询阻塞,整体 CPU 不高,但大量请求的 p95、p99 延迟持续上升。

建立一个可比较的观察窗口

不要只看故障发生后的单点截图

至少应覆盖以下几个阶段:

  1. 正常负载阶段,记录基线;
  2. 并发逐步上升阶段,观察哪个指标先发生拐点;
  3. 高并发维持阶段,观察队列、错误和资源是否持续积压;
  4. 流量回落阶段,确认积压是否释放,以及恢复速度是否正常。

常见监控系统可以采用 5 秒或 10 秒粒度进行短时排查;如果请求持续时间较长,1 分钟粒度可能掩盖瞬时尖峰。关键是所有指标使用同一时间轴,并尽量保持采样周期一致。

建议在一个观察窗口内同时记录:

指标类别重点观察项主要用途
请求流量请求数、RPS、并发请求、状态码确认流量是否真的增加
Web 连接active、reading、writing、keepalive、新建连接速率判断连接是否堆积在接入层
网络入出站带宽、PPS、RTT、重传、丢包排除线路和网卡因素
Web 到应用上游连接时间、上游队列、响应头时间判断请求是否卡在转发或等待应用
应用进程CPU、系统调用、进程数、线程忙碌度、事件循环延迟判断执行能力是否饱和
共享资源数据库连接池、缓存连接池、锁、文件描述符判断是否被下游资源限制
结果指标p50、p95、p99、超时、502、504、客户端断开判断用户可见影响

应用日志、Web 访问日志和主机监控的时间必须尽量对齐。若美国服务器使用了外部监控探针,还应区分探针到服务器的网络延迟与服务器内部处理时间,不能把跨区域 RTT 全部算成应用耗时。

先看连接指标如何变化

连接数上升不代表连接层已经成为瓶颈

可以先把连接分为新建连接、正在读取请求、正在写回响应和空闲 Keep-Alive 连接。

如果 active connections 从 300 增加到 3000,但其中 2700 条长期处于 keepalive 状态,同时 RPS、Web 工作进程 CPU 和应用响应时间都没有明显变化,这更像是连接复用或客户端连接保持时间较长,而不是处理能力已经耗尽。

相反,如果出现以下联动,连接层的优先级就会提高:

  • 新建连接速率快速升高;
  • SYN-RECV 或监听队列持续增加;
  • TLS 握手耗时和系统态 CPU 同时升高;
  • Web 服务的 reading 或 writing 数量增加;
  • 上游应用收到的请求量没有同步增加;
  • 客户端连接超时、连接重置或 499 类断开增多;
  • 文件描述符接近限制,或者 accept 失败、listen overflow 等内核计数增加。

这里的关键不是“连接数超过多少”,而是连接数增加后,后续链路有没有跟着增长。若 Web 层连接数增长、应用请求量不增长,说明请求可能尚未进入应用;若连接数和应用请求量同步增长,但响应时间只在应用队列增大后上升,则更接近应用侧瓶颈。

用连接状态判断请求是否真的在等待

不同 Web 软件的状态名称略有差异,但分析思路基本一致:

  • reading 增多:可能是客户端上传慢、请求体较大,或者网络接收受限;
  • writing 增多:可能是应用响应慢、客户端读取慢,或出口带宽不足;
  • keepalive 增多:通常代表连接保持,并不直接代表应用繁忙;
  • 新连接增多且握手耗时上升:应检查短连接比例、TLS 负载和客户端连接策略;
  • Web 层到上游的连接等待增多:需要继续观察应用进程和上游连接池,不能只停留在 Web 层结论。

对于 Nginx,可以在访问日志中记录请求总耗时和上游耗时,例如记录 $request_time、$upstream_connect_time、$upstream_header_time、$upstream_response_time 等字段。具体变量是否可用,取决于正在使用的 Nginx 版本和配置,修改前应先确认现有日志格式并在低风险环境验证。

再看应用进程、线程和队列

CPU 高低必须结合运行队列

应用进程 CPU 长时间接近全部核心的可用算力,同时系统运行队列增长、响应时间上升,通常说明 CPU 执行能力不足。还要区分是用户态 CPU 还是系统态 CPU:

  • 用户态 CPU 高,可能是业务计算、序列化、压缩、模板渲染或垃圾回收消耗;
  • 系统态 CPU 高,可能与网络包处理、TLS、频繁系统调用、上下文切换有关;
  • iowait 高,说明进程可能在等待磁盘或其他 I/O;
  • CPU 总量不高但运行队列持续增加,可能是单核心热点、进程绑核或少量事件循环线程被阻塞。

多进程服务还要检查进程之间是否均衡。有时总 CPU 只有 50%,但某个单线程 Worker 已经接近 100%,导致分配到该 Worker 的请求延迟升高。把所有进程的平均 CPU 相加,可能会掩盖这种局部饱和。

线程数量不等于处理能力

线程池容量应与任务类型、下游资源和内存共同判断。线程数过少时,请求会排队;线程数过多时,可能出现:

  • 上下文切换增加;
  • 数据库连接同时被大量占用;
  • 锁竞争加重;
  • 单个进程 RSS 增长;
  • 线程都阻塞在同一个下游服务,吞吐没有提升。

因此应同时观察线程总数、忙碌线程数、空闲线程数、线程等待时间和线程池队列深度。如果线程池队列持续增加,而 CPU 并不高、数据库连接池等待明显,优先级应放在数据库或连接池容量和查询耗时,而不是继续盲目增加线程。

异步事件循环也有类似问题。事件循环线程数量少并不等于配置错误,但如果事件循环延迟从几十毫秒升到几百毫秒,同时应用 CPU 只有中等水平,常见原因包括同步文件操作、阻塞式客户端调用、慢日志输出或长时间计算占用了事件循环。

队列是连接层与应用层之间的重要证据

需要分清以下几类队列:

  1. 操作系统监听队列:请求尚未被 Web 服务正常接收;
  2. Web 到应用的上游队列:Web 服务已接收请求,但后端连接或 Worker 不足;
  3. 应用线程池队列:请求已经进入应用,但没有可用线程;
  4. 业务任务队列:请求已转为异步任务,等待后台消费者处理;
  5. 数据库或缓存连接池等待队列:应用线程被共享资源卡住。

队列长度本身并不能证明根因,还应看队列等待时间和消费速率。一个长度为 100、每秒能消费 1000 个任务的短队列,影响可能小于一个长度为 10、每秒只能消费 1 个任务的队列。

可以使用下面的关系帮助判断:

在稳定流量下,并发中的请求数大致等于请求速率乘以平均响应时间。

例如,RPS 为 200、平均响应时间从 0.2 秒升至 1.5 秒时,在途请求量的估算值会从约 40 增加到约 300。这个估算不等同于 TCP 连接数,但可以帮助判断“连接数变多”究竟是流量增加导致,还是应用处理变慢导致。

把多个指标放在同一时间线上

下面是一组模拟监控数据,用于说明分析方法,并非某台美国服务器的实测结果。

时间RPSWeb 活跃连接上游等待应用线程忙碌度数据库池等待p95 响应时间5xx
10:0080120028%0180 ms0.1%
10:05180520347%0260 ms0.2%
10:102201,600850%11.1 s0.6%
10:152202,1001151%11.4 s0.8%

这组数据中,活跃连接增长明显,但应用线程忙碌度和数据库池等待变化不大。下一步应继续拆分连接状态、TLS 时间、出口带宽和客户端读取速度。如果大量连接处于 writing,且出口带宽接近上限,网络发送或慢客户端可能比应用进程更值得优先检查。

另一组模拟数据如下:

把多个指标放在同一时间线上配图

时间RPSWeb 活跃连接上游队列应用 CPU线程池等待数据库池等待p99 响应时间504
14:00150260142%40420 ms0.1%
14:051903301858%75121.8 s1.2%
14:101903804161%180394.7 s7.5%
14:151853604659%205515.2 s9.1%

这里的连接数没有达到第一组那样的规模,但应用线程池、数据库连接池和上游队列同步增加,p99 与 504 也沿着相同时间趋势恶化。更合理的判断是应用处理能力或下游共享资源不足,而不是单纯的 Web 连接数量过多。

排除容易混淆的替代解释

网络带宽满不等于应用进程慢

如果出站带宽接近端口或线路容量,Web 连接的 writing 状态和响应时间可能一起上升。此时应用已经生成响应,但数据无法及时发给客户端。应同时检查:

  • 入站和出站带宽;
  • 每秒数据包数;
  • TCP 重传和丢包;
  • 网卡错误;
  • 客户端读取速度;
  • 响应体大小是否在高峰期突然增加。

带宽使用率不高时,也不能完全排除网络问题。高 PPS、小包、重传或跨区域 RTT 都可能造成延迟。美国服务器面对不同地区访问者时,客户端到机房的距离、运营商路径和国际链路质量会影响建连时间,但这些因素不会自动说明应用进程已经饱和。

数据库慢会伪装成线程不足

应用线程都在等待数据库连接或查询结果时,表现可能是:

  • 应用 CPU 中等或偏低;
  • 线程池忙碌度接近满载;
  • 数据库连接池等待持续增加;
  • 请求 p95、p99 延迟拉长;
  • 数据库端查询耗时、锁等待或磁盘 I/O 上升;
  • Web 层出现上游等待和 504。

此时增加应用进程或线程,往往会让更多请求同时压向数据库,可能使锁竞争和超时进一步扩大。应先确认查询耗时、连接池大小、数据库最大连接数、锁等待和慢查询,再决定是否调整应用并发。

内存和垃圾回收也可能造成间歇性延迟

如果 RSS 持续增长、内存回收频繁、Major Page Fault 增多,或者系统开始使用 Swap,应用可能出现周期性长尾延迟。此时 CPU 可能在垃圾回收或内存管理上升高,也可能因为等待内存而表现为 CPU 不高。

应把进程 RSS、堆使用量、垃圾回收暂停时间、Swap 使用量、缺页情况与 p99 响应时间对齐。不能只看到“内存还有余量”就排除内存问题,因为进程自身的堆上限、容器限制或文件描述符限制可能先于整机内存达到瓶颈。

连接数高可能只是客户端行为变化

短时间大量连接可能来自页面资源数量增加、客户端没有复用连接、健康检查配置变化或某个调用方的重试风暴。检查访问日志中的客户端地址、User-Agent、请求路径、HTTP 协议版本、Keep-Alive 情况和重试比例,通常比只看全局连接数更有价值。

如果同一个接口在 5xx 后被客户端快速重试,RPS 可能被错误放大,应用队列也会随之增长。此时需要把原始请求、重试请求和健康检查流量分开统计。

形成判断时使用“关联组合”

可以用下面的组合做初步归类,但它们不是脱离上下文的固定阈值。

观察组合更可能的方向需要继续确认的证据
活跃连接、新建连接、TLS 时间同时升高,应用请求量基本不变Web 接入或网络建连SYN/accept 队列、文件描述符、系统态 CPU、重传
Keep-Alive 连接很多,但请求速率、应用队列和延迟稳定连接保持,并非明确瓶颈空闲连接占比、超时时间、内存和 FD
Web 上游队列上升,应用线程池队列和处理延迟同步上升应用进程或应用线程不足每进程 CPU、线程忙碌度、事件循环延迟
应用 CPU 高且运行队列高,p95/p99 同步升高CPU 计算或进程容量不足用户态/系统态 CPU、热点函数、进程分布
CPU 不高,但数据库或缓存连接池等待持续增加共享资源或下游服务瓶颈池活跃数、池等待时间、下游响应和锁
writing 连接和出口带宽接近上限,应用生成响应正常网络发送或慢客户端响应体大小、PPS、重传、客户端读取
进程数量增加后 RSS、上下文切换和长尾延迟上升进程或线程扩容过度单进程内存、上下文切换、锁和下游连接数

最终判断应尽量写成带条件的因果链,例如:“在 RPS 基本不变时,上游队列和线程池等待持续增加;数据库连接池等待也同步出现,而 Web 新建连接、带宽和 TLS 时间稳定,因此优先判定为应用到数据库之间的共享资源瓶颈。”这种表述比“连接数超过某值所以服务器不够用”更可复核。

形成判断时使用“关联组合”配图

用低风险方式补齐主机侧证据

Linux 主机可以先使用只读命令查看连接和系统状态。不同发行版的工具版本和权限要求可能不同,执行前应先确认命令是否存在。

ss -s
ss -lntp
vmstat 1
pidstat -p ALL -u -r -w 1

这些命令分别可用于查看套接字汇总、监听端口和进程、运行队列与 I/O 概览,以及进程级 CPU、内存和上下文切换。ss -lntp 在部分系统上需要更高权限才能显示进程信息,不应为了查看信息而直接修改权限或停止服务。

应用侧应优先接入指标,而不是依赖进程列表猜测。至少应暴露:

  • 当前请求数和请求耗时分位数;
  • 每个进程或 Worker 的处理请求数;
  • 线程池总量、忙碌量、空闲量和排队时间;
  • 数据库、缓存、HTTP 客户端连接池的活跃数与等待数;
  • 事件循环延迟或任务执行延迟;
  • 超时、取消、重试、熔断和降级次数;
  • 进程 RSS、垃圾回收暂停和文件描述符使用量。

若需要临时修改线程数、连接池上限或 Web Worker 数量,应先记录原配置、确认内存和下游服务的承载范围,并在可回滚窗口内逐项调整。不要同时改变多个参数,否则即使响应时间改善,也无法判断究竟是哪项变化产生了作用。

复测时验证“瓶颈是否移动”

完成初步判断后,应在相近流量和相同接口结构下复测。复测不只看平均响应时间,还要比较以下变化:

  • Web 活跃连接是否仍持续堆积;
  • 上游队列是缩短还是转移到应用线程池;
  • 应用 CPU 是否从过低变为合理利用,还是出现新的核心饱和;
  • 数据库或缓存连接池等待是否扩大;
  • p95、p99 和超时率是否同时改善;
  • 流量回落后,队列和连接是否能按预期释放;
  • 进程 RSS、文件描述符和上下文切换是否出现新的长期增长。

例如,将应用线程数从 50 调到 100 后,Web 上游队列下降,但数据库池等待从 10 增加到 80,说明原来的应用队列被转移成数据库连接池队列,不能把这次变化视为完整修复。相反,如果线程池等待下降、数据库查询耗时稳定、p99 降低且内存没有异常增长,才说明该调整在当前负载下具备依据。

复测时验证“瓶颈是否移动”配图

下一次发生高并发告警时,建议把下面这组指标放在同一张时间图中:RPS、active connections、新建连接速率、reading/writing/keepalive、上游连接与响应时间、应用进程 CPU、运行队列、线程池等待、数据库或缓存连接池等待、带宽与重传、p95/p99、502/504 及客户端断开数。只有这些指标在同一时间语境下共同变化,才能较准确地判断问题究竟停留在 Web 连接、应用进程,还是已经转移到了共享资源和下游服务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5466.html

相关推荐