香港服务器Nginx并发不足如何定位?连接数、上游响应和系统资源先查什么
香港服务器出现“Nginx并发不足”时,不要先把 worker_connections 调大,也不要仅凭 CPU 占用判断瓶颈。第一步应确认三件事:Nginx 当前承载了多少连接、请求有多少时间消耗在上游服务、系统是否已经受到文件描述符、CPU、内存、网络或磁盘资源限制。只有把这三组数据放在同一时间窗口内对照,才能判断是入口连接受限、Nginx处理能力不足,还是应用排队导致请求变慢。
一个常见的判断顺序是:先看活跃连接和连接状态,再看 $upstream_* 时间,最后核对系统资源与应用连接池。连接数接近上限但上游响应很快,方向偏向Nginx或文件描述符;连接数不高但上游响应时间持续升高,方向偏向应用、数据库或内部队列;系统资源已经饱和,则需要先处理资源瓶颈,而不是继续增加并发参数。

针对香港业务中常见的Nginx连接、上游响应和系统资源协同问题,A5数据提供香港物理服务器租用,覆盖入门建站、Xeon Gold及AMD EPYC等配置,并配备SSD或NVMe存储、不同内存规格及CN2与国际带宽方案,可为企业网站、业务后台、数据库和接口服务提供相应的计算、存储与网络资源基础。
先确认“并发不足”具体表现
“并发不足”可能对应几种不同现象:
- 新连接建立失败,客户端出现超时、连接被拒绝或偶发 reset。
- Nginx返回
502、504,但后端服务本身未必完全不可用。 - 请求可以建立连接,但排队时间变长,接口延迟从几百毫秒升到数秒。
- 页面访问变慢,Nginx日志中出现较多
499,即客户端在服务端返回前主动断开。 - CPU、内存看起来不高,但活跃连接持续堆积,服务吞吐量反而下降。
- 香港本地或同地域访问正常,跨地域访问延迟明显升高,容易被误判为Nginx并发能力不足。
这里需要区分三个概念:
- 连接数:TCP连接或Nginx当前持有的连接数量。
- 请求并发数:同一时间正在处理的HTTP请求数量。
- 吞吐量:单位时间内完成的请求数,例如每秒请求数,即RPS。
一个连接可能处于keepalive空闲状态,并不代表它正在执行请求;一个HTTP请求在反向代理场景下,通常还会占用一个到上游的连接。因此,Nginx的连接数、后端请求数和应用线程数不是同一个指标。
可以用排队关系做初步估算:
在途请求数 ≈ 到达速率 × 平均处理时间
例如某接口每秒进入200个请求,平均耗时0.8秒,则平均在途请求约为160个。如果后端查询变慢,平均耗时升到2秒,在途请求可能增加到400个,即使请求速率没有变化,连接和队列也会迅速堆积。这个公式是容量判断的参考,不代表真实环境一定符合稳定状态。
建立一棵原因树
排查时可以按“网络入口—Nginx—系统—上游服务—应用共享资源”的顺序建立原因树。每一层都要有观察依据,不能只看到某个现象就直接归因。

| 层级 | 重点观察 | 常见现象 | 下一步判断 |
|---|---|---|---|
| 网络入口 | 建连、握手、丢包、带宽、连接状态 | 新连接超时、SYN堆积、跨地域延迟高 | 区分网络路径问题与服务端处理问题 |
| Nginx连接层 | Active、Reading、Writing、Waiting、worker限制 | 活跃连接接近配置上限、日志出现连接不足 | 检查worker、文件描述符和监听队列 |
| 系统资源 | CPU单核、内存、Swap、FD、磁盘、网卡 | CPU满、I/O等待高、文件打开数不足 | 确认是Nginx进程还是其他进程消耗资源 |
| 上游服务 | 连接时间、响应头时间、响应总时间、状态码 | upstream_header_time升高、502/504增加 | 检查应用线程池、进程池、数据库和缓存 |
| 共享资源 | 数据库连接池、锁、队列、磁盘、Redis等 | 应用线程存在但大量等待 | 查找真正的二级瓶颈 |
如果没有应用监控,至少应先把Nginx状态、访问日志和系统资源采样放到同一个时间段,例如连续观察5分钟,并记录故障发生前后各一段数据。单次命令结果只能说明瞬时状态,不能代表故障峰值。
第一层:确认连接是否真的到达Nginx
查看监听端口和连接状态
以下命令适用于常见Linux发行版,属于只读检查:
sudo ss -lntp
sudo ss -s
sudo ss -ant state established '( sport = :443 )'
sudo ss -ant state time-wait '( sport = :443 )' | wc -l
如果服务使用HTTP端口,将:443替换为:80。部分发行版的ss过滤语法略有差异,执行失败时可以先运行:
ss --help
重点不是单独看某个数字,而是看状态组合:
ESTAB持续升高,且Nginx请求延迟同步升高,可能是请求处理慢或客户端读取慢。WAIT数量很高,可能只是keepalive连接较多,不等于工作线程已经耗尽。TIME-WAIT较多,说明短连接关闭频繁。它本身不必然是故障,需要结合新建连接速率、端口使用和应用行为判断。SYN-RECV长时间堆积,才更需要关注握手、监听队列、网络丢包或入口攻击流量。- 监听端口不存在,先检查Nginx服务状态和配置加载结果,不要继续调整并发参数。
如果服务器前面还有负载均衡或CDN,Nginx看到的连接可能主要来自上一层节点,而不是最终客户端。这时需要同时查看入口设备或CDN的回源连接、回源延迟和错误率,否则容易把上游节点的连接行为误认为香港服务器本身的并发问题。
查看Nginx连接分类
如果允许临时启用Nginx内置状态模块,可以在仅本机访问的前提下配置:
location = /nginx_status {
stub_status;
allow 127.0.0.1;
deny all;
access_log off;
}
修改配置前应备份当前配置,并先执行语法检查:
sudo nginx -t
确认无误后再平滑加载:
sudo nginx -s reload
如果服务器通过systemd管理Nginx,也可以使用:
sudo systemctl reload nginx
stub_status返回结果可能类似下面这样。该结果仅为格式示例,不代表任何实际服务器数据:
Active connections: 182
server accepts handled requests
12540 12540 28690
Reading: 3 Writing: 41 Waiting: 138
判断时应注意:
Active connections是当前连接总数。Reading表示Nginx正在读取客户端请求。Writing表示Nginx正在向客户端发送响应。Waiting通常表示keepalive空闲连接。accepts和handled长期差异较大时,需要检查资源限制或连接接受异常。Writing持续偏高,可能是响应体较大、客户端读取慢、网络路径延迟高,也可能是上游响应已经产生但下游发送速度慢。Reading持续偏高,可能存在慢请求体、上传请求过多或异常客户端。
如果Waiting占比很高而实际RPS不高,直接增加worker数量通常没有意义;如果Writing高且网络出口接近上限,调大Nginx并发参数反而可能让更多数据进入排队。
第二层:检查Nginx自身的并发边界
不要把worker_connections当成实际吞吐量
常见配置类似:
worker_processes auto;
events {
worker_connections 4096;
}
worker_connections表示单个worker可处理的连接上限,但不是单个worker可以同时完成的请求数。反向代理场景下,一个客户端连接通常还会对应一个上游连接,因此同一请求可能同时占用两个文件描述符。监听套接字、日志文件、缓存文件和其他模块也会消耗文件描述符。
理论上,连接上限可以粗略理解为:
worker进程数 × worker_connections
但实际可用值还会受到以下条件约束:
- Nginx进程的文件描述符限制。
- systemd服务的
LimitNOFILE。 - 每个请求是否同时连接上游。
- TLS、日志、缓存和第三方模块的额外文件占用。
- 监听队列、内核参数和系统内存。
- 上游连接池或后端服务的容量。
因此,看到worker_connections 4096并不能直接得出“最多可承载多少并发请求”的结论。
检查配置和文件描述符
先确认Nginx实际加载的配置,而不是只看编辑过的文件:
sudo nginx -T > /tmp/nginx-config.txt
grep -nE 'worker_processes|worker_connections|worker_rlimit_nofile|keepalive|upstream|proxy_' /tmp/nginx-config.txt
再检查服务进程的限制:
sudo systemctl show nginx -p LimitNOFILE
pgrep -a nginx
cat /proc/$(pgrep -o nginx)/limits | grep -i 'open files'
如果pgrep -o nginx取得的不是目标worker,可以先列出进程:
ps -eo pid,ppid, user,cmd | grep '[n]ginx'
错误日志中如果出现以下类型的信息,方向就比较明确:
worker_connections are not enough
too many open files
accept4() failed
示例日志只是模拟格式,不能当作当前环境已经出现的结果。若没有这些日志,同时活跃连接也远未接近上限,就不应仅凭“并发变高”修改连接参数。
进程、线程与事件模型要分开看
Nginx常见模型是多个worker进程通过事件循环处理网络连接。增加worker_processes并不等于线性增加吞吐量:
- worker数量通常与CPU核心数或实际工作负载相关。
- worker过多会增加上下文切换和共享锁竞争。
worker_connections提高后,文件描述符和内存压力也会提高。- Nginx线程池主要解决特定阻塞I/O场景,不能替代后端应用线程池。
- 如果瓶颈在数据库查询、应用锁或上游队列,增加Nginx线程不会缩短后端处理时间。
accept_mutex、multi_accept、监听backlog等参数需要结合连接建立失败、SYN队列和内核统计判断。它们不适合作为没有证据时的第一轮调优对象。修改前应保存原配置,调整后先执行nginx -t,验证失败时恢复备份并重新加载;不要一次同时改变多个参数。
第三层:通过上游响应时间定位排队位置
只看Nginx总响应时间,无法判断时间消耗在客户端、Nginx还是后端。建议在访问日志中记录上游指标。下面是一个示例配置片段:
log_format upstream_timing
'$remote_addr "$request" status=$status '
'request_time=$request_time '
'upstream_status=$upstream_status '
'upstream_connect_time=$upstream_connect_time '
'upstream_header_time=$upstream_header_time '
'upstream_response_time=$upstream_response_time '
'request_length=$request_length '
'bytes_sent=$bytes_sent';
access_log /var/log/nginx/access.log upstream_timing;
不同发行版的日志路径可能不同,具体以nginx -T中的配置为准。修改日志格式会增加日志写入量,生产环境应确认磁盘空间和日志轮转策略,避免日志文件快速占满磁盘。
几个字段的判断方式如下:
| 指标 | 主要含义 | 偏高时优先检查 |
|---|---|---|
request_time | Nginx处理该请求的总时间 | 客户端读取、上游处理、Nginx发送和整体排队 |
upstream_connect_time | 建立上游连接所需时间 | 后端监听队列、连接池、网络或后端接受能力 |
upstream_header_time | 连接上游后等待响应头时间 | 应用排队、线程池、数据库查询、锁 |
upstream_response_time | 上游响应所需时间 | 应用生成响应、后端I/O和响应体传输 |
upstream_status | 上游返回状态 | 502、504、连接失败和应用错误 |
可以按以下分支判断:
upstream_connect_time高,upstream_header_time也高:后端可能已经出现连接接受能力不足或应用排队。upstream_connect_time低,upstream_header_time高:连接建立没问题,处理时间消耗在应用、数据库或内部锁。upstream_response_time高但响应头很快:应用较快开始响应,但响应体生成或传输较慢。request_time明显高于upstream_response_time:需要检查客户端网络、响应发送速度、Nginx缓冲和大响应。499增多:客户端提前放弃,可能是用户侧超时,也可能是服务端响应太慢,不能简单归类为Nginx拒绝连接。502偏多:检查上游连接失败、进程重启、端口拒绝和协议错误。504偏多:检查上游处理超时、应用队列和数据库耗时,不要只把proxy_read_timeout继续调大。
上游连接池和应用队列经常才是真正瓶颈
反向代理链路可以简化为:

客户端连接 → Nginx worker → 上游连接 → 应用进程或线程 → 数据库、缓存和其他共享资源
其中任何一层排队,都会表现为“并发不足”。
例如Nginx有4个worker,每个worker配置了32个上游keepalive连接,实际连接池并不一定等于一个全局共享的128连接池。连接池通常与worker、上游配置和请求行为有关,后端还可能设置更小的最大连接数。如果应用只能同时处理40个请求,多出来的连接仍会在应用线程池、进程池或数据库连接池中等待。
不同应用模型应分别检查:
| 应用模型 | 重点检查 | 典型瓶颈 |
|---|---|---|
| PHP-FPM | pm.max_children、listen队列、慢日志 | 子进程耗尽、脚本慢、数据库等待 |
| Java或其他线程池应用 | 工作线程、任务队列、拒绝策略、GC | 线程池排队、锁竞争、垃圾回收 |
| Node.js等事件循环应用 | 事件循环延迟、异步任务、阻塞代码 | 单线程被同步计算或I/O阻塞 |
| Go等并发应用 | goroutine等待、数据库连接池、内存和GC | 下游连接池耗尽、锁和I/O等待 |
| 容器化服务 | 容器CPU、内存限制、重启次数 | cgroup限额、OOM、探针失败 |
如果Nginx的连接数不高,但upstream_header_time持续升高,优先把排查范围转向这些队列。应用线程数也不能无限增加,因为线程增加后可能进一步争用CPU、数据库连接和内存。
第四层:核对系统资源是否已经到达边界
系统检查应覆盖CPU、内存、文件描述符、磁盘和网络,而不是只运行一次top。
CPU和调度
top -H -p "$(pgrep -d, -x nginx)"
mpstat -P ALL 1 5
vmstat 1 5
如果系统没有mpstat,先确认工具是否安装:
command -v mpstat
command -v vmstat
判断重点:
- 单个CPU核心持续接近100%,其他核心较空,可能是单worker、锁竞争或某个处理阶段集中在单核。
- 所有核心都高,说明整体计算压力较大,可能来自Nginx TLS、压缩、日志、应用或其他进程。
vmstat中的r持续高于可运行CPU数量,说明存在运行队列压力。wa较高,说明CPU时间可能在等待磁盘或其他I/O,不能简单归因于CPU不足。- load average高但CPU利用率不高时,要继续检查I/O等待、不可中断睡眠进程和磁盘设备。
内存和Swap
free -h
vmstat 1 5
dmesg -T | grep -iE 'oom|out of memory|killed process'
内存不足时,系统可能启动Swap,导致应用响应明显变慢。Nginx连接数增加会带来连接结构、缓冲区和上游请求的额外内存占用;如果正在处理大响应或上传请求,单连接内存成本还会进一步上升。不要在内存已经紧张时盲目扩大连接数和缓冲区。
文件描述符和磁盘
sudo lsof -p "$(pgrep -o nginx)" | wc -l
df -h
df -i
iostat -xz 1 5
iostat通常由sysstat提供,若命令不存在,不要直接假定安装方式,先根据当前发行版的软件管理规范确认。检查:
- 文件描述符接近进程上限时,可能出现新连接失败或日志写入失败。
- 磁盘空间满会影响日志、临时文件和缓存。
- inode耗尽时,即使磁盘还有容量,也可能无法创建新文件。
- 磁盘利用率高、平均等待时间高,会拖慢应用和Nginx日志写入。
- 日志同步写入量过大,也可能成为高并发时的共享资源瓶颈。
网络和内核队列
ip -s link
sudo ss -lnt
sysctl net.core.somaxconn
sysctl net.ipv4.tcp_max_syn_backlog
nstat -az | grep -iE 'listen|retrans|reset|timeout'
香港服务器面向不同地区用户时,线路延迟和丢包可能造成连接保持时间变长,使活跃连接数量增加,但这不等于Nginx处理能力下降。应将同一接口在不同网络位置的延迟、丢包、建连时间和服务端上游耗时分开记录。
如果只有跨地域访问慢,而服务器本地请求的upstream_header_time稳定、CPU和文件描述符也正常,应优先检查网络路径、出口带宽、TLS握手和前置CDN回源,而不是立即增加Nginx worker。
逐层排除时的低风险顺序
可以按照下面的顺序执行一次故障定位:
- 记录故障时间段的RPS、状态码、平均延迟和P95/P99延迟,确认问题是新连接失败还是已建立请求变慢。
- 使用
ss和stub_status查看连接状态,重点记录Active、Reading、Writing、Waiting以及ESTAB、SYN-RECV数量。 - 检查Nginx错误日志,搜索
worker_connections、too many open files、上游连接失败和超时信息。 - 对照访问日志中的
upstream_connect_time、upstream_header_time和upstream_response_time,判断时间消耗在哪一段。 - 使用
mpstat、vmstat、free、df和文件描述符检查确认系统资源是否在同一时间段达到边界。 - 如果上游时间偏高,检查应用进程、线程池、进程池、数据库连接池、缓存和任务队列。
- 只针对已确认的瓶颈调整一个参数,保留修改前配置,并用小流量或受控压测验证结果。
- 如果验证结果没有改善,恢复原配置,避免多个参数叠加后无法判断影响来源。
排障期间不建议直接执行大并发压测。生产环境压测应限定接口、并发度、持续时间和来源范围,并提前确认业务方允许;否则可能把原本的容量问题扩大成连接风暴、数据库过载或日志磁盘占满。
用结果反推根因
以下组合可以帮助快速收敛范围:
活跃连接接近上限,上游响应较快
如果Active连接数长期接近Nginx或文件描述符上限,错误日志出现连接不足,但上游响应时间正常,根因更可能在Nginx连接容量、进程限制、监听队列或连接模型。
此时应先核对实际worker数量、worker_connections、LimitNOFILE和每个请求需要的文件描述符数量。不能只把worker_connections从4096改成更大的数,因为系统限制未同步调整时,配置可能没有实际效果。
活跃连接不高,上游响应头明显变慢
这通常说明Nginx尚未达到连接上限,请求主要在应用、数据库、缓存或内部任务队列等待。应查看应用线程池使用率、队列深度、数据库连接池占用、慢查询和锁等待。
这类问题把Nginx并发调大通常只会让更多请求进入后端排队,甚至增加超时和内存压力。
Waiting很多,RPS不高
大量Waiting连接可能来自keepalive设置、客户端访问模式或前置代理。需要对照请求速率和Writing数量判断。若空闲连接占用大量文件描述符,可以在业务允许的前提下评估keepalive超时、连接复用和前置代理配置,但要先确认不会增加握手开销或造成更多短连接。
Writing持续偏高,应用处理时间正常
这更像响应发送或网络路径问题。检查响应体大小、压缩、出口带宽、客户端读取速度和跨地域丢包。香港服务器服务不同地区用户时,网络延迟会影响连接存活时间,尤其是大文件、流式响应和长轮询请求。
502、504或499集中出现
应按状态码分开处理:
502重点看上游端口、进程重启、连接拒绝和协议异常。504重点看应用处理队列、数据库耗时和代理超时配置。499重点看客户端超时、网络路径和服务端整体响应时间。
不要把三者统一解释为“服务器并发不够”。
复发时应持续监控哪些点
为了避免故障再次出现,监控应覆盖容量和时间两个维度:
- Nginx Active、Reading、Writing、Waiting连接数。
- 新建连接速率、连接失败、
499、502、504比例。 - 请求速率以及P50、P95、P99延迟。
upstream_connect_time、upstream_header_time、upstream_response_time。- 每个Nginx worker的CPU、进程文件描述符和重启次数。
- 系统CPU单核利用率、load、I/O等待、内存、Swap和OOM记录。
- 监听队列、TCP重传、连接重置和网卡丢包。
- 应用线程池、进程池、任务队列和数据库连接池使用率。
- 日志文件系统的容量和inode使用率。
告警阈值应根据正常基线设定。例如文件描述符使用率、连接上限使用率达到70%至80%并持续一段时间时,可以作为预警;P95延迟相对正常基线持续升高、上游队列增长或502/504超过业务可接受比例时,应进入故障处理。具体阈值取决于接口类型、响应大小、用户分布和后端容量,不能用一个固定数字覆盖所有香港服务器业务。
真正有效的定位结果,应该能够回答“连接在哪里增加、时间在哪里消耗、哪个资源先到边界”这三个问题。只有三者在同一时间窗口内相互印证,才适合调整Nginx进程、连接池、队列或系统限制。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5242.html



