Linux服务器CLOSE_WAIT连接持续增多,怎样从应用与连接状态定位原因
CLOSE_WAIT持续增多,通常表示本机已经收到对端发来的 TCP 关闭信号,但本机应用尚未关闭对应的套接字。少量连接短暂停留可能是正常收尾;如果数量持续上升、长时间不回落,并伴随文件描述符耗尽、请求变慢或新连接失败,排查重点应放在持有这些连接的进程和应用关闭逻辑上,而不是先把问题归因于监听端口或防火墙。
定位时先确认连接是否真的在增长,再按连接四元组找到本机进程,随后检查应用为何没有完成关闭。网络设备、安全组、NAT和端口绑定仍需核对,但它们通常是连接路径或现象的背景,不是 CLOSE_WAIT 长期积累的直接原因。
先确认状态与影响范围
TCP 的 CLOSE_WAIT 出现在本机收到对端 FIN 并确认之后。对端已表示不再发送数据,本机应用仍可以读取缓冲区中的剩余数据;应用读取到结束条件后,应关闭套接字,连接才会继续完成关闭流程。若应用一直持有文件描述符,连接就可能停留在 CLOSE_WAIT。

因此要区分“出现过”与“持续累积”。偶发的短暂连接不一定异常;持续增长、连接年龄不断变长,或连接数与业务请求量不匹配,才更值得关注。以下命令可查看当前状态数量:
ss -tanH state close-wait | wc -l
间隔一段时间重复观察,并同时记录进程和连接年龄。单次快照只能说明某一时刻的数量,不能证明趋势。不同 Linux 发行版的 ss 版本和输出格式可能略有差异;如需长期比较,可把时间、状态数量和进程信息写入监控系统。
查看连接和进程归属:
sudo ss -tanp state close-wait
重点记录本地地址与端口、对端地址与端口、PID 和进程名。输出中的本地端口是本机这一端的端口;如果本机是客户端,它可能是临时端口,不是服务监听端口。若命令没有显示进程信息,先确认是否以有足够权限的账户执行。
还可按进程查看套接字文件描述符:
sudo lsof -nP -p <PID>
其中 <PID> 替换为实际进程号。lsof 输出较长时,可结合端口或连接信息筛选;不要仅凭某个端口号就认定套接字属于预期服务,需与 ss 的连接记录交叉核对。
建立原因树:先分清网络、系统、服务和应用
| 排查层级 | 观察依据 | 下一步 |
|---|---|---|
| 网络与对端 | 多条连接集中指向同一对端,或对端频繁主动关闭 | 核对对端应用、连接复用策略和中间设备是否会主动结束连接 |
| 系统与资源 | 进程的打开文件数接近上限,或系统出现文件描述符相关错误 | 检查进程限制、系统日志和资源变化;不要先提高上限掩盖泄漏 |
| 服务与端口 | 监听端口缺失、监听地址不符,或外部无法建立新连接 | 分别核对服务绑定地址、端口监听、防火墙和安全组规则 |
| 应用生命周期 | CLOSE_WAIT 主要归属一个进程,数量持续增长且连接长期不释放 | 检查读取结束、异常返回、超时和连接池等关闭路径 |
这个原因树的关键是:监听异常和 CLOSE_WAIT 可以同时出现,但并非同一问题。监听端口决定新连接能否进入服务;CLOSE_WAIT 关注的是已经建立、且对端已经关闭发送方向的连接为何仍被本机进程持有。
逐层排除连接路径与端口问题
网络和对端:确认谁先发起关闭
CLOSE_WAIT 本身表明本机 TCP 栈已经收到对端的关闭信号。可在 ss 输出中查看对端地址,判断积累是否集中于某个服务、地址段或下游依赖。若连接主要来自一个后端服务或数据库,应继续检查该对端的空闲超时、主动断连和重启记录,并对照本机应用日志的时间戳。
如果需要判断 FIN 是否来自预期对端,可在维护允许的情况下抓取少量、短时的 TCP 包。抓包会记录网络元数据,可能涉及业务隐私;应限制接口、主机、端口和持续时间,并遵守内部数据管理要求。例如:
sudo tcpdump -ni any 'host <对端IP> and tcp port <端口>'
将 <对端IP> 和 <端口> 替换为实际值。若看到对端发来的 FIN,说明本机收到关闭请求;若是中间的 TCP 代理或负载均衡设备代替后端结束连接,抓包只能确认本机一侧收到的包,仍需结合设备日志判断来源。抓不到 FIN 也不能单独证明网络设备有问题:抓包接口、过滤条件和采集时机都可能影响结果。
系统与服务:核对监听、绑定和文件描述符
查看 TCP 监听端口:
sudo ss -lntp
核对服务是否监听预期端口,以及绑定的是 127.0.0.1、指定网卡地址还是 0.0.0.0。绑定到回环地址的服务无法直接通过外部网卡访问;绑定到错误地址也可能导致请求落到其他实例或无法连接。容器、网络命名空间和宿主机的端口视图可能不同,需要在对应的命名空间内检查,不能只凭宿主机一份输出下结论。
再看进程打开文件数量和限制:
sudo ls /proc/<PID>/fd | wc -l
sudo grep -i 'open files' /proc/<PID>/limits
文件描述符接近进程软限制时,新建连接、打开日志或文件可能失败。应继续检查应用日志中是否出现 Too many open files 等错误,并结合进程重启时间、请求量和连接数变化判断。提高 ulimit 或服务限制只有在确认容量设计不足时才考虑;如果根因是连接未关闭,提高上限通常只是延后资源耗尽。
防火墙、安全组与 NAT:检查规则,但不要误判状态含义
核对实例本机防火墙、安全组和网络设备时,先检查通信方向、协议、端口、源地址范围及规则是否作用于当前网卡或实例。云平台安全组通常是有状态规则,具体行为应以该平台的规则模型为准;不要因为没有开放某个入站端口,就认定它造成了既有连接的 CLOSE_WAIT。
NAT 或有状态防火墙的连接跟踪超时,可能造成连接中断、重连、超时或被中间设备重置。它们值得在连接频繁中断、FIN/RST 来源异常、或不同网络路径表现不一致时纳入检查,但普通丢包或规则阻断通常不会直接让本机应用留下 CLOSE_WAIT:该状态意味着本机 TCP 栈已收到对端关闭信号。若中间设备本身是 TCP 代理,可能由它生成关闭信号,应结合设备记录和双端抓包进一步确认。
深入应用:找出没有执行关闭的路径
若 CLOSE_WAIT 集中在单个进程,且连接年龄持续增加,应用层应成为重点。常见情况包括:
- 读取到 EOF 后没有关闭套接字,或连接对象被长生命周期对象继续引用。
- 异常、超时、取消任务等分支绕过了关闭逻辑;正常请求能释放,错误请求却持续泄漏。
- 连接池只处理正常归还,没有处理对端关闭或读取失败的连接。
- 异步回调、线程或任务卡住,关闭代码尚未执行。
- 应用把 HTTP、数据库等协议层的连接复用和 TCP 套接字关闭混为一谈,导致失效连接留在池中。
排查时按连接归属和建立时间,将 ss 记录与应用访问日志、错误日志、连接池指标及任务状态对齐。若许多连接指向同一对端,但由同一 PID 持有,且数量随错误请求增加,通常比单独观察端口更能说明问题所在。下面是模拟现象,仅用于说明判断方式,并非特定环境的检查结果:
ESTAB 0 0 10.0.1.8:41832 10.0.2.5:5432 users:(("app",pid=2180,fd=91))
CLOSE-WAIT 0 0 10.0.1.8:41836 10.0.2.5:5432 users:(("app",pid=2180,fd=94))
CLOSE-WAIT 0 0 10.0.1.8:41841 10.0.2.5:5432 users:(("app",pid=2180,fd=97))
如果类似连接集中在一个应用进程,并且应用日志显示数据库连接读取异常,而连接池中的连接数没有下降,应检查异常处理和连接归还逻辑。反之,若 CLOSE_WAIT 分布在多个进程、短时间内自行消退,或数量与正常请求波动一致,就需要结合持续时间和业务影响判断,不能仅凭状态名判定故障。
定位根因后验证恢复
确认应用关闭路径存在遗漏后,优先修复对应代码或连接池逻辑,并通过测试覆盖正常读取、对端关闭、超时、异常和任务取消等分支。生产环境是否重启进程,应根据业务影响、部署方式和连接可恢复性评估;重启可能清除当前滞留连接,但不能替代根因修复。未经评估不要批量终止进程或强制清理连接,以免中断正在处理的请求、造成数据写入不完整或触发服务级联重连。
修复后观察同一组指标:CLOSE_WAIT 数量是否回落,是否还在持续增长;进程打开文件数是否稳定;请求错误率、连接池等待时间和下游超时是否恢复。还应重新检查监听端口及外部连通性,确保既有连接状态好转的同时,新连接也能按预期建立。若重启后数量短暂归零、随后又以相近速度上涨,说明问题很可能仍在应用生命周期或其依赖连接的处理路径中。
复发监控至少关注 CLOSE_WAIT 数量及增长速率、连接持续时间、进程文件描述符使用率、连接池占用与等待时间,以及相关网络错误和应用异常日志。阈值应按服务基线设置:例如持续数分钟增长、接近进程文件描述符限制,或与错误率同步上升时触发告警;孤立的短时连接不宜直接等同于故障。
A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,可为网站、业务后台、数据库及接口服务提供不同的CPU、内存、存储和网络配置。香港与美国等地区的部分方案采用NVMe存储,AMD平台覆盖多种单路和双路配置;不同地区也提供相应的网络线路选择。这些资源可用于承载应用服务及数据库等业务,为连接处理和持续运行提供服务器基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6410.html



