香港服务器出现大量CLOSE_WAIT连接,怎样定位应用未释放连接
香港服务器上出现大量 CLOSE_WAIT,通常意味着本机已经收到连接对端的关闭请求,但持有该连接的进程还没有关闭本地套接字。要定位“谁没有释放连接”,关键不是先调整 TCP 参数,而是把这些连接对应到本地端口、进程和文件描述符,再追查应用在哪条请求或资源释放路径上没有完成关闭。
排查范围也不能只凭状态名称确定。如果大量连接的本地端口是业务监听端口,应优先检查处理入站请求的服务;如果本地端口是临时端口、对端是数据库或其他上游,则应检查应用发起的出站连接。防火墙、安全组、NAT 和负载均衡可能影响连接建立或促使对端先关闭连接,但它们不能代替应用完成本地 close。
先确认:连接是否持续堆积,堆积在哪一侧
CLOSE_WAIT 是本机视角的状态:对端发送 FIN,本机 TCP 栈收到后进入半关闭阶段,等待本地应用关闭套接字。少量、短暂的 CLOSE_WAIT 不一定是故障;更值得关注的是同一进程持有的数量持续增长、旧连接长期不消失,同时文件描述符用量、请求延迟或新连接失败率上升。
先在问题发生时保留两到三个间隔快照,避免只凭一次输出判断。以下命令主要用于只读观察;连接很多的机器上,执行 ss -p 可能有一定开销,不宜每秒反复全量运行。
date -Is
ss -Htan state close-wait | wc -l
ss -Htanp state close-wait | head -n 30
记录每次的总数、相同本地端口上的数量,以及反复出现的进程。如果总数在波动但没有持续累积,应结合正常流量和连接生命周期判断;如果同一 PID 的连接与文件描述符同步增加,就有了继续追踪应用的依据。
读取 ss 输出时,要区分两组地址:

- 本地地址是业务端口:例如本地
:8080、对端为负载均衡或访问方地址,多半是入站连接,由本机对应的服务处理。 - 本地地址是临时端口:例如本地
:49152、对端为数据库:3306,多半是应用主动建立的出站连接。此时不能因为站点通过443提供访问,就把问题归到 Web 监听端口。
ss -p 的进程信息可能因权限不足而缺失,必要时使用有权限的账号重新查看。若服务运行在容器中,还要核对宿主机与容器的网络命名空间和 PID 映射,避免把宿主机看到的 PID 误当成容器内 PID。
建立原因树:哪些现象能解释 CLOSE_WAIT
端口故障常被统称为“网络不通”,但不同层级的证据指向不同的下一步。CLOSE_WAIT 已表明该连接曾建立,并且本机收到了对端的 FIN;它与“根本没有监听”“入站连接被安全组拦截”不是同一个阶段的问题。
| 层级 | 需要观察的证据 | 对排查方向的影响 |
|---|---|---|
| 网络与对端 | FIN 是否来自访问方、负载均衡或上游服务;是否集中在某类请求后 | 解释对端为什么先关闭,但仍须追查本机为何未及时释放 |
| NAT 与转发 | 对端地址是否经过负载均衡、容器端口映射或其他地址转换 | 确认实际连接由哪个本地端口、哪个进程处理 |
| 系统资源 | 相关 PID 的文件描述符是否增长,是否接近限制 | 判断连接堆积是否已转化为资源耗尽 |
| 服务与应用 | 连接是否集中于特定 PID、接口、上游调用或异常分支 | 定位未关闭套接字的代码路径或组件 |
这棵原因树有一个重要边界:对端超时或主动断开可以解释 FIN 的来源,却不能单独解释本机的 CLOSE_WAIT 为什么长期不消失。后一个问题最终要回到持有套接字的进程及其关闭逻辑。
从外到内排除端口与转发问题
先核对监听、绑定和连接方向
对于入站连接,确认服务当前监听的是哪个地址和端口:
ss -ltnp
ip -br addr
监听在 127.0.0.1:8080 与监听在 0.0.0.0:8080 的可达范围不同;应用也可能只绑定了某个内网地址。若实际流量经 Nginx 或负载均衡转发,应把入口 443、转发后的本地端口和最终应用进程分开核对。监听状态回答“新连接会交给谁”,CLOSE_WAIT 回答“已建立连接现在由谁持有”,二者不能互相替代。
若 ss -ltnp 看不到预期监听,但仍有该端口的 CLOSE_WAIT,不要立即认定输出矛盾:监听套接字可能已经关闭,而此前建立的连接仍由进程持有;也可能查询发生在服务重启前后。应对齐采样时间,再检查对应 PID。
再核对防火墙、安全组与 NAT
防火墙和云平台安全组主要用于判断新连接能否按预期到达。对已经进入 CLOSE_WAIT 的连接,单纯开放端口通常不能清除状态。排查时可读取本机现有规则;使用哪套规则管理工具,应以系统实际配置为准。
sudo nft list ruleset
如果系统并未使用 nftables 管理规则,应检查实际生效的防火墙工具,而不是仅凭一条命令的输出下结论。云平台安全组、负载均衡监听与后端规则需在各自控制台核对,重点是入口端口、转发目标和应用实际绑定端口是否一致。这里先做只读核对,不要为清理 CLOSE_WAIT 直接改动生产防火墙或安全组。
存在 NAT 或容器端口映射时,外部访问的端口不一定是应用本地端口。例如入口为 443,转发到应用 8080,则应用持有的连接可能显示为本地 :8080。应沿“外部入口 → 转发目标 → 本地监听 → 持有连接的 PID”逐段对应。若新连接失败与 CLOSE_WAIT 同时发生,可另行读取连接跟踪计数;它用于判断是否伴随 NAT 资源压力,不是判断应用已关闭连接的依据:
cat /proc/sys/net/netfilter/nf_conntrack_count
cat /proc/sys/net/netfilter/nf_conntrack_max
上述文件仅在系统启用相应连接跟踪功能时存在。即使计数接近上限,也要分别处理新连接受阻和已有 CLOSE_WAIT 未释放这两个问题。
锁定持有进程,再追应用释放路径
找到目标 PID 后,先核对进程身份、启动时间和文件描述符用量。以下以 PID 2468 为示例,执行时应替换为现场查到的 PID:
ps -p 2468 -o pid,ppid,lstart,etime,stat,comm,args
sudo ls -U /proc/2468/fd | wc -l
cat /proc/2468/limits | grep -i "open files"
sudo lsof -nP -a -p 2468 -iTCP -sTCP:CLOSE_WAIT | head -n 30
lsof 可能未安装;/proc 也可能因权限设置限制读取。文件描述符总数还包括日志、普通文件和其他套接字,不能把它直接当成 CLOSE_WAIT 数量。应看同一 PID 在多个时间点是否同时出现“CLOSE_WAIT 增加、描述符增加、接近打开文件限制”的趋势。若已经出现 Too many open files,还需评估该进程接受新连接和处理请求的能力。
进程归属仍不等于根因。一个服务可能同时处理客户端连接和上游连接,同一套接字也可能被多个进程持有。接下来应按连接方向查释放路径:
- 入站连接集中于应用端口:对照访问日志、请求耗时和错误日志,查客户端或负载均衡断开后,应用是否仍卡在读取请求、写入响应、等待后台任务,或异常分支未关闭连接。
- 出站连接集中于某个上游:检查连接池、HTTP 响应体、数据库连接或其他客户端资源是否按所用库的约定归还或关闭。要区分“连接被设计为复用”与“对端已关闭后仍被应用持有”。
- 集中于 Nginx 等中间层进程:先区分客户端侧和上游侧套接字,再核对相关超时与错误日志。不能仅凭进程名推断是前端访问方还是后端应用的问题。
下面是一种示例推理,不是对任何实际服务器的检查结果:多次采样发现本地 :8080 的 CLOSE_WAIT 从几十条持续增加,主要属于同一应用 PID;该 PID 的描述符用量同步上升,而其他端口没有类似趋势。此时应按时间关联 8080 的请求日志与应用异常日志。如果连接集中出现在“客户端已断开、应用仍等待某项处理”的分支,下一步是复现该分支,并检查其取消处理和套接字释放逻辑;如果发现相同 PID 的本地端口其实是临时端口,则应改查该进程访问上游服务的客户端代码。
日志无法区分具体代码路径时,可使用应用已有的线程、协程、连接池指标或诊断工具取样。诊断工具要与运行时版本匹配,并控制采样频率;在生产高峰期,不宜未经评估就开启高开销的完整跟踪。
修复后验证:不只看连接数降到零
根因修复可能是补齐异常分支的资源关闭、正确归还连接池连接,或调整服务在对端断开时的取消处理。提高文件描述符上限只能延后耗尽,不会替应用关闭套接字;tcp_fin_timeout、keepalive 等参数也不能作为清理 CLOSE_WAIT 的通用办法。
若需要重启进程临时释放资源,先确认服务有多实例、流量可切换或已安排维护窗口,并保留连接快照、日志和必要的诊断信息。重启会断开该进程承载的现有连接;应按服务既有发布流程执行,出现错误率上升时按原版本或原配置回滚。不要通过批量终止进程来替代根因排查。
验证时在相近流量下连续观察,而非只在重启后检查一次:
CLOSE_WAIT是否在短暂出现后回落,旧连接是否不再长期滞留。- 目标 PID 的文件描述符是否趋于稳定,是否与请求量变化相符。
- 新连接成功率、请求延迟和应用错误率是否恢复,入站与出站连接是否都按预期工作。
- 曾触发堆积的异常路径能否复现并正常释放资源,例如客户端提前断开或上游先关闭连接。
后续监控宜按进程、连接方向和对端记录 CLOSE_WAIT 趋势,同时监控文件描述符用量及其限制、连接池占用、超时与取消请求数量。告警重点放在持续增长及其资源影响上,而不是要求 CLOSE_WAIT 永远为零;这样再次出现堆积时,才能迅速判断是哪个服务、哪类连接重新走到了未释放路径。
针对在香港节点运行接口服务、业务后台和数据库的场景,A5数据提供多档香港物理服务器,涵盖Xeon Gold与AMD EPYC平台,并提供SSD或NVMe存储及不同线路、带宽的方案。这些计算、存储和网络资源可用于承载应用进程、连接池、运行日志及监控组件,为持续观察连接状态与进程资源变化提供部署基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5686.html


