Linux服务器Nginx连接数不足,如何判断并发、文件描述符和上游瓶颈?

发布人:A5数据发布时间:2026-10-30 09:12阅读量:69

Nginx 报连接数不足,不一定是 worker_connections 配小了。连接槽位、进程可用文件描述符、主机文件描述符上限和上游处理能力是不同约束:调高其中一个参数,可能只把瓶颈推到下一层,甚至让 CPU、内存或后端先达到上限。判断时应把并发连接数与请求速率、响应延迟、错误类型和上游耗时放在一起看。

先定义要判断的“并发”

“并发”可能指某一时刻保持连接的客户端数量,也可能指同时处理的请求数,或每秒进入系统的请求数(RPS)。三者不能互相替代。

对于短连接 HTTP 请求,连接可能在响应后很快关闭;对于长轮询、WebSocket 或较长的 HTTP keepalive,连接会持续占用资源,但未必持续消耗大量 CPU。HTTP/2 还可以在单条 TCP 连接上复用多个请求,因此连接数不等于并发请求数。

一个实用的估算关系是:

平均在途请求数 ≈ 请求速率(RPS)× 平均请求耗时(秒)

例如,假设服务稳定处理 800 RPS,平均请求耗时为 0.15 秒,那么平均在途请求约为 120。若平均耗时升到 0.8 秒,在同样的请求速率下,在途请求约为 640。请求耗时变长可能使并发占用上升,即使请求速率没有增加。

先定义要判断的“并发”配图

这个关系适合估算平均负载,不能直接当作峰值连接数。突发流量、长尾延迟、连接保持时间、HTTP/2 复用方式以及请求分布都会改变实际峰值。

四类约束要分别核对

Nginx 连接槽位

worker_connections 限制的是每个 worker 可同时处理的连接数,客户端连接和上游连接都要占用连接槽位。它不是“每个 worker 可接入的客户端数”。

粗略估算可用连接槽位时,可以先用:

Nginx 连接槽位上限 ≈ worker_processes × worker_connections

再扣除监听、管理或其他连接占用,并考虑客户端与上游连接的比例。例如,一个请求需要同时保持客户端连接和一条上游连接时,处理中的请求可能占用约两个连接槽位;命中本机静态文件时通常不需要上游连接。实际占用会因协议、请求阶段和配置而异,不能仅凭这个估算值承诺最大用户数。

查看运行配置时,可使用:

nginx -T 2>&1 | grep -E 'worker_processes|worker_connections|worker_rlimit_nofile'

nginx -T 会输出完整配置,可能包含敏感信息;在共享终端或工单中粘贴输出前应先检查并脱敏。配置文件中若没有显式设置 worker_processes,实际行为还取决于 Nginx 版本及其运行环境,应以生效配置和进程数为准。

进程文件描述符

Linux 中,socket、日志文件、静态文件等都需要文件描述符。即使连接槽位足够,worker 进程的文件描述符限制较低,也可能先触顶。

先查看 worker 的实际限制和当前打开数量:

四类约束要分别核对配图

pidof nginx
grep -i 'open files' /proc/NGINX_WORKER_PID/limits
ls /proc/NGINX_WORKER_PID/fd | wc -l

将 NGINX_WORKER_PID 替换为实际 worker PID。不要只看当前登录 shell 的 ulimit -n:它不能代表 systemd 启动的 Nginx 服务进程。Nginx 的 worker_rlimit_nofile、服务管理器的进程限制和系统级文件描述符资源也需要分别核对。

系统级文件描述符资源

系统全局文件描述符资源与单个进程限制不同。可查看内核当前使用量和上限:

cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max

file-nr 输出中的字段含义依内核版本而异;常见 Linux 内核中会显示已分配、未使用及最大数量。判断系统级资源是否紧张,应结合实际内核版本和持续变化趋势,而不是看到一个数值就认定耗尽。主机上运行多个服务时,文件描述符使用也不全属于 Nginx。

上游处理能力

Nginx 自己能接受连接,不代表应用、数据库或其他上游能及时处理请求。上游响应变慢时,客户端连接和上游连接都可能被更久地占用,继而抬高在途请求数、连接槽位和文件描述符使用量。

因此需要把 Nginx 指标与上游耗时、错误率、CPU、内存和 I/O 一起观察。只扩容 Nginx 连接参数,无法解决后端排队、数据库查询变慢或磁盘 I/O 饱和。

四类约束要分别核对配图

针对Nginx接入层与上游服务的资源承载,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖Xeon Gold、AMD EPYC、NVMe存储、大内存、多IP及不同带宽线路配置,可用于部署网站、业务后台、数据库和接口服务,为连接容量、应用计算与数据存储提供相应的硬件资源基础。

建立指标与现象之间的关系

建议在相近时间窗口内对照连接数、请求速率、延迟分位数、错误码、CPU、内存、磁盘 I/O 和上游响应时间。下表中的数值是用于说明判断逻辑的示例,不是通用告警阈值。

观察指标可能提示的问题还要核对什么
Nginx 活跃连接持续接近可用槽位,出现连接资源相关错误worker_connections 或进程描述符可能受限worker 数量、FD 限制、连接类型及客户端/上游连接比例
活跃连接较多,但 RPS 不高,延迟上升长连接、慢请求或上游等待使连接停留时间变长请求耗时分位数、上游耗时、WebSocket 或长轮询流量
RPS 上升,CPU 接近饱和,延迟随负载增大Nginx 或应用计算资源不足,或加解密、压缩、动态处理开销偏高各进程 CPU、请求类型、压缩与 TLS 开销
Nginx 请求耗时升高,同时上游耗时升高后端响应慢或后端排队的可能性更高应用线程池、数据库连接池、上游错误和排队指标
上游耗时正常,Nginx 延迟仍高网络、客户端传输、磁盘读取或 Nginx 处理路径可能有影响发送耗时、静态文件 I/O、网络丢包及错误日志
连接数不高,但出现 FD 错误进程或系统 FD 上限可能先于连接槽位触顶worker 实际打开 FD 数、服务限制和系统全局资源

Nginx 的 stub_status 可提供连接和请求的基础状态,但不包含完整的延迟分布或上游耗时。可在受控访问范围内启用,并避免将状态页直接暴露到公网。例如:

location = /nginx_status {
    stub_status;
    allow 127.0.0.1;
    deny all;
}

修改配置后,先执行 nginx -t,通过后再按变更流程重新加载;同时确认本机监控采集方式符合访问控制要求。若已使用监控系统,应优先采用现有采集链路,避免为了排查临时公开状态接口。

要分析请求级耗时,可在访问日志中记录 $request_time、$upstream_response_time、$status 和 $request_method 等字段。注意,多次上游尝试时,$upstream_response_time 可能包含多个值;出现 - 也不一定意味着请求异常,需结合请求路径和状态码解读。

影响容量的变量不只在连接配置

连接上限的理论计算只能回答“资源最多允许多少连接”,不能回答“系统能以可接受延迟处理多少业务请求”。容量还受到以下因素影响:

  • 连接类型与保持时间: 长连接、WebSocket 和长轮询会让连接持续存在。keepalive 能减少重复建连开销,但连接保持过多也会占用资源。
  • 请求是否需要上游: 静态文件、缓存命中和动态请求的资源路径不同。动态请求通常还会占用应用进程、数据库连接等后端资源。
  • 请求体与响应大小: 大文件上传、下载或慢客户端传输会延长连接存活时间,并增加网络、内存或磁盘 I/O 压力。
  • CPU 与内存: TLS、压缩和复杂规则可能增加 CPU 开销;连接状态、缓冲区及请求处理也会消耗内存。不能只根据连接数估算内存。
  • 磁盘与网络: 静态文件读取可能受存储 I/O 影响;发送速度受网卡、链路容量及客户端接收速度限制。
  • 上游连接池与排队: 应用线程数、连接池大小、数据库处理能力和上游 keepalive 配置会共同影响排队时间。扩大 Nginx 并发,可能只是把更多请求压到后端。

如果需要估算“在可接受延迟内能承载多少请求”,应使用目标延迟下的压测结果,而不是将连接上限直接换算为用户数。假设目标平均请求耗时为 0.2 秒、希望同时处理约 500 个在途请求,那么对应的平均处理速率估算为 500 ÷ 0.2 = 2500 RPS。这个计算只说明两者的数量关系,不代表服务器一定能达到该速率;实际结果还取决于请求路径、长尾延迟及资源消耗。

按结果选择调整方向

连接槽位不足,但 CPU 和上游仍有余量

若活跃连接长期接近理论槽位、日志或监控显示连接资源受限,同时 worker FD 和主机资源仍有余量,可以考虑适度调整 worker_connections。随后必须核对 worker 的文件描述符限制,因为连接槽位提高后,worker 可能先被 FD 上限卡住。

配置调整应按实际 worker 数、连接结构和服务限制计算,而不是把数值直接改到很大。还需确认 systemd 服务的 LimitNOFILE 等限制是否与 Nginx 进程实际生效值匹配;修改服务管理配置后,需要按发行版和服务管理方式执行对应的配置重载及服务重启流程,并评估短暂连接影响。

FD 接近上限,但连接槽位未满

这通常说明进程文件描述符、主机全局资源或非连接类文件占用了更多 FD。先确认 worker 的实际限制与打开数量,再检查日志文件、打开文件缓存及其他同机服务。不要仅提高系统级上限:如果应用并未正确管理文件或连接,扩大上限可能推迟故障而非解决原因。

连接数上升与上游耗时同步增加

这类情况应优先检查上游,而非先扩大 Nginx 并发。查看应用 CPU、线程或工作进程队列、数据库连接池等待、上游错误率和依赖服务延迟。若上游处理变慢,减少请求耗时、改善缓存命中或为后端扩容,通常比单纯增加 Nginx 连接数更直接。

超时参数需要与业务请求时长匹配。过短会把正常的慢请求误判为失败;过长则可能让异常请求长期占用连接。proxy_connect_timeout、proxy_read_timeout 等参数针对不同阶段,不能相互替代,也不能作为“提高并发”的开关。调整前应确认请求类型、上游实际耗时分布和失败处理方式。

静态资源或重复请求占用明显

对于可缓存的静态资源,可评估浏览器缓存头、CDN 缓存或 Nginx 缓存,减少重复回源和后端请求。压缩适用于文本类内容,但可能增加 CPU 开销;对于已压缩格式或 CPU 已紧张的主机,开启更高压缩级别不一定有利。每项优化都应通过命中率、回源量、CPU、响应字节数和延迟变化验证。

复测与容量判断边界

调整前应记录基线:请求速率、活跃连接、延迟中位数及高分位、错误率、CPU、内存、磁盘 I/O、worker FD 使用量和上游耗时。压测应尽量覆盖生产中代表性的请求比例、连接保持方式和请求大小;只用单一轻量接口测试,往往会高估真实业务容量。

复测时至少比较三件事:是否消除了对应资源限制,目标延迟下的吞吐是否提升,以及瓶颈是否转移到 CPU、内存、I/O 或上游。若连接数下降但上游延迟上升、错误率变高,不能据此判定优化成功;若吞吐提高但高分位延迟明显恶化,也需要确认是否符合业务服务目标。

复测与容量判断边界配图

容量判断应以持续负载下的稳定区间为依据,而不是以一次峰值测试结果为准。保留足够余量应结合业务峰值、突发幅度、故障切换需求和可接受延迟设定。最终结论应写成有条件的判断,例如“在指定请求构成、连接方式和延迟目标下,当前配置仍有余量”或“上游耗时已成为主要限制”,而不是把某个连接数当成通用承载能力。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6490.html

相关推荐