Linux服务器CLOSE_WAIT连接持续增长,如何区分应用未关闭与网络异常
服务器上 netstat 或 ss 里的 CLOSE_WAIT 数量持续增长,几千甚至上万条压在监控图上,很多人第一反应是“网络出问题了”。但 CLOSE_WAIT 和网络延迟、丢包基本无关,它几乎总是指向一个确定的事实:对端已经发出 FIN 主动关闭了连接,本端应用程序收到了,但一直没有调用 close() 把自己的 socket 关掉。所以排查的核心不是查网络,而是先区分“应用代码没关”和“网络异常导致的假象”,再定位到具体的进程和调用路径。
下面按运维工程师现场排查的顺序展开:先确认现象和量级,再由外到内逐层收窄,最后给出两类根因对应的修复方向和复测方法。示例命令以常见的 Linux 发行版(CentOS、Ubuntu 等)为基准,模拟输出仅用于说明判断路径,实际数值以你的环境为准。
现象确认:先弄清 CLOSE_WAIT 到底是什么状态
TCP 正常断开的四次挥手过程是:对端发 FIN,本端收到后进入 CLOSE_WAIT 并回复 ACK;本端随后调用 close(),才发出自己的 FIN 进入 LAST_ACK,最终关闭。CLOSE_WAIT 卡住的含义非常明确——本端应用没有执行最后那一步 close()。

这里有两个关键判断:
- CLOSE_WAIT 不消耗对端资源的问题,但会占用本端文件描述符。数量超过
ulimit -n的限制时,进程会报 "Too many open files",新建连接、打开日志文件都会失败,这才是它真正的破坏力。 - 如果对端一直没关、本端也没关,那是 ESTABLISHED 堆积,属于另一类问题(通常是后端响应慢)。CLOSE_WAIT 堆积说明对端已经“拜拜”了,本端程序还在挂着。
先看量级和增长速度:
ss -ant state close-wait | wc -l
ss -antp state close-wait | head -20
第一条看总数,第二条看具体连接属于哪个进程(需要 root 权限,-p 才能显示进程名)。模拟一段输出:
CLOSE-WAIT 0 0 192.168.1.10:8080 203.0.113.7:52311 users:(("java",pid=2345,fd=881))
CLOSE-WAIT 0 0 192.168.1.10:8080 198.51.100.3:61290 users:(("java",pid=2345,fd=912))
确认三件事:数量级(几百条通常可观察,上万条通常已影响服务)、增长趋势(持续单调增长还是波动)、归属进程(nginx、java、node 还是其他)。这三个信息决定了后面的排查深度。持续单调增长且不回落,几乎可以排除网络抖动,是典型的应用未关闭。
由外到内:先排除网络侧的“假 CLOSE_WAIT”
虽然 CLOSE_WAIT 多数是应用问题,但排查要从低风险、非侵入的外层开始,避免一上来就重启进程。
第一层:确认对端确实发了 FIN
对卡住的连接抓包验证。以 8080 端口为例:

tcpdump -nn -i eth0 "tcp port 8080 and (tcp[tcpflags] & tcp-fin != 0)" -c 20
观察对应五元组的 FIN 报文到达时间,与本端 CLOSE_WAIT 连接的建立时间对比。两种结果:
- 能看到对端 FIN,之后本端只有 ACK 没有回 FIN:确认应用没调 close(),进入应用侧排查。
- 抓不到 FIN,或连接的 recv 队列里还有未读数据:注意一个常见误区——如果应用程序收到 FIN 之前还有数据没读完,或者 socket 处于异常状态(比如 read 返回了错误但代码没处理),同样会卡在 CLOSE_WAIT。此时需要结合应用日志看是否有 read error、connection reset 之类的记录。
第二层:排除中间设备和异常流量
极少数情况下,负载均衡器、NAT 网关的健康检查或连接回收策略会主动发 FIN 断开空闲连接,如果应用侧没有正确处理这类“被对端关闭”,CLOSE_WAIT 会规律性地增长。核对方法:

- 看 CLOSE_WAIT 连接的源 IP 是否集中在 LB 或网关地址段。用
ss -ant state close-wait | awk '{print $4}' | sort | uniq -c | sort -rn | head统计对端分布。 - 对照 LB 的空闲超时配置(比如常见的 60 秒、900 秒),如果增长周期和该超时一致,说明是“对端正常关闭、本端没响应关闭”的组合问题,根源仍然在本端代码,但触发条件是中间设备。
如果对端分布分散、无周期规律、数量持续上涨,基本可以判定为应用侧问题。
结果分支:两类根因的定位与处理
分支一:应用未关闭连接(占绝大多数)
定位到具体进程后,进一步收窄到代码路径:
- 统计各进程的 CLOSE_WAIT 占比,确认是单一服务还是多个服务同时出现。多个服务同时增长,优先检查公共依赖(如某个上游接口、数据库中间件)是否刚刚变更了超时行为。
- 检查该进程的文件描述符水位:
ls /proc/2345/fd | wc -l
cat /proc/2345/limits | grep "open files"
如果 fd 数已接近上限,说明问题已经在产生实际影响,处理优先级提高。
- 常见的代码级原因(供与开发同事核对):
- HTTP 客户端连接用完没有释放,或连接池没有配置空闲回收和最大存活时间;
- 读对端数据时遇到 EOF 或异常直接 return,跳过了资源关闭(缺少 finally/defer 或 try-with-resources);
- 处理
Connection: close或服务端主动断开的响应时,没有走关闭分支; - 超时异常发生后直接放弃连接,socket 引用残留。
应急处理是滚动重启问题进程,释放积压的 fd——这是低风险操作,但要在低峰期执行,并确认有多个实例轮流摘除流量。根治必须改代码或改连接池配置,重启只是把水位打回去,不改增长趋势。
分支二:网络异常相关的边缘情况
真正由网络引起的 CLOSE_WAIT 相关问题很少,但存在两种形态:
- 对端 FIN 丢失或中间链路异常,导致本端其实早已 close、状态卡在 LAST_ACK 之类的中间态被误判。用
ss -ant | awk '{print $1}' | sort | uniq -c看完整状态分布,区分清楚 CLOSE_WAIT 和 LAST_ACK、FIN_WAIT。 - 本端网卡丢包导致 FIN 收到但 ACK 回不去,对端反复重发 FIN。可用
ip -s link show eth0查看本端收发错误计数,配合ss -ti state close-wait看单条连接的定时器与重传信息。如果确认是链路丢包,排查方向转向交换机、网卡或机房线路,这与 CLOSE_WAIT 本身无关,属于并发问题。
判断标准很直接:CLOSE_WAIT 状态下的 socket,责任在本端应用;网络问题影响的是进入和离开这个状态的过程,而不是这个状态本身。
修复验证与持续观察
代码修复或配置调整上线后,验证闭环这样做:

- 修复前记录基线:CLOSE_WAIT 总数、增长速率(例如每小时新增多少条)、问题进程的 fd 水位。
- 上线后持续采样,推荐用一条简单命令配合监控定时执行:
ss -ant state close-wait | wc -l
- 合格的标准是:数量回落到个位数十位数级别并保持平稳,不再出现单调增长;进程 fd 数稳定在远低于上限的水平。
- 观察周期建议覆盖一个完整的业务高峰和 LB 空闲超时的若干倍时长(比如配置了 900 秒超时就观察至少一两个小时以上),确认没有隐藏的周期性回收导致的缓慢堆积。
同时建议在监控里加上两个长期指标:各核心进程的 CLOSE_WAIT 数量和 fd 使用率,分别设置告警阈值(例如 CLOSE_WAIT 持续超过 500 告警,fd 使用率超 80% 告警)。A5IDC 的云服务器支持通过自定义监控脚本上报这类指标,配合定期巡检,多数堆积问题在影响业务之前就能被发现。
排查顺序回顾:先看状态分布和进程归属确认现象,再抓包和统计对端分布排除中间设备的周期性关闭,然后定位到进程和代码路径,最后用修复前后的数据对比完成闭环。记住核心结论:CLOSE_WAIT 增长,第一嫌疑人是应用程序没有关闭 socket,网络异常只是需要排除的少数分支。
针对接口服务、数据库和容器等长期运行场景,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC、NVMe存储及不同带宽线路。多地区与网络资源组合可承载分布式业务和跨区域访问,CPU、内存与磁盘配置也为连接密集型应用、日志留存和多任务运行提供基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5113.html



