香港服务器TCP连接异常,如何区分链路丢包与系统连接耗尽
香港服务器出现 TCP 连接异常时,单凭“访问超时”“页面打不开”或“延迟升高”,不能直接判断是香港机房链路丢包,也不能直接认定服务器连接数耗尽。连接超时可能发生在 DNS 解析、客户端出口、跨境路由、服务器网卡、Linux TCP 队列、连接跟踪表、文件描述符或网站应用响应等多个位置。
区分两类问题的关键,是把一次访问拆成 DNS 解析、TCP 三次握手、TLS 建连和应用响应四个阶段,再结合不同网络位置的测试结果。若多个来源到同一公网 IP 的 TCP 握手同时出现超时,并且服务器侧没有收到对应 SYN,优先核对链路和路由;若 SYN 已到达服务器,但主机出现 SYN-RECV、文件描述符、连接跟踪或监听队列压力,则更接近系统连接资源耗尽。若 TCP 已建立而 HTTP 响应迟缓,排查重点应转向应用和后端依赖。

先确认异常发生在哪个阶段
一次 HTTPS 请求并不等同于一次 TCP 连接。建议先记录以下几个阶段的耗时:
- DNS 解析:域名是否解析到预期的 IPv4 或 IPv6 地址。
- TCP 建连:客户端发出 SYN 后,是否能收到 SYN/ACK。
- TLS 握手:TCP 已成功,但证书协商是否卡住。
- 应用响应:HTTP 连接已经建立,服务器是否及时返回状态码和内容。
可以使用 curl 输出分阶段耗时。以下命令适用于常见 Linux、macOS 或安装了 curl 的 Windows 环境,域名和端口替换为实际业务值:
curl -sS -o /dev/null \
--connect-timeout 5 \
--max-time 15 \
-w 'dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} start=%{time_starttransfer} total=%{time_total} code=%{http_code}\n' \
https://www.example.com/
如果 dns 明显偏高,问题还没有进入香港服务器的 TCP 层;如果 connect 超时,重点查看链路、路由、目标端口和服务器 TCP 状态;如果 connect 正常但 start 或 total 偏高,则 TCP 通常已经建立,应继续核对 TLS、Web 服务、应用线程池和后端数据库等依赖。
“连接被拒绝”和“连接超时”也要分开记录:
Connection refused通常表示目标主机返回了 RST,常见原因是端口没有监听、服务主动拒绝或防火墙使用了拒绝策略。Connection timed out表示在规定时间内没有得到期望响应,可能是丢包,也可能是防火墙静默丢弃、服务端队列满或返回路径异常。- TCP 已建立但请求长时间无响应,不能继续归类为单纯的 TCP 建连失败。
从客户端和 DNS 开始排除误判
对比 IPv4、IPv6 和不同解析结果
香港服务器可能同时配置 A 和 AAAA 记录。某个客户端优先使用 IPv6,而 IPv6 路由或防火墙配置不完整时,会表现为部分地区访问超时;另一部分客户端走 IPv4,则可能完全正常。
先查看 DNS 记录和本机实际获得的地址:
dig www.example.com A +short
dig www.example.com AAAA +short
getent ahosts www.example.com
再分别测试 IPv4 和 IPv6:
curl -4 -sS -o /dev/null \
--connect-timeout 5 \
--max-time 15 \
-w 'ipv4 connect=%{time_connect} total=%{time_total} code=%{http_code}\n' \
https://www.example.com/
curl -6 -sS -o /dev/null \
--connect-timeout 5 \
--max-time 15 \
-w 'ipv6 connect=%{time_connect} total=%{time_total} code=%{http_code}\n' \
https://www.example.com/
如果 IPv4 稳定而 IPv6 持续超时,应先把问题交给 DNS、IPv6 路由或服务器 IPv6 防火墙配置的负责方,不宜把结果概括为“香港服务器丢包”。如果不同 DNS 解析器返回的地址不一致,还要核对 DNS TTL、记录变更和多节点部署情况。
区分本地网络异常与目标网络异常
同一台客户端访问其他香港或其他地区的服务也出现超时,说明本地网络、运营商出口、无线网络或客户端防火墙仍有较大可能。只有某个域名或某个目标 IP 异常,则需要继续看解析结果和目标方向的路由。
可以使用固定次数的 ICMP 测试观察趋势:
ping -c 20 -W 2 203.0.113.10
ping 只能说明 ICMP 回包情况,不能直接代表 TCP 443 端口的可用性。服务器可能限制 ICMP,也可能对 ICMP 限速,但 TCP 服务正常。因此,端口测试应作为补充:
nc -vz -w 5 203.0.113.10 443
如果环境没有 nc,可以使用 Bash 的 TCP 特性进行简单测试:
timeout 5 bash -c '</dev/tcp/203.0.113.10/443' \
&& echo "tcp port open" \
|| echo "tcp port failed"
这些测试结果需要带上时间、源公网 IP 和目标 IP。单次失败不足以确认链路故障,连续多次、多个客户端或多个出口出现相同结果,证据强度更高。
用路由和丢包证据判断链路问题
MTR 只能作为路径线索
Linux 中可以使用 MTR 同时观察延迟和路径变化:
mtr -rwzc 100 -4 203.0.113.10
常见输出会包含每一跳的丢包率、平均延迟和最大延迟。判断时不要只看中间某一跳的丢包。如果某个中间路由器显示 20% 丢包,但后续跳和最终目标均无丢包,通常可能是该路由器对 ICMP 探测限速,并不代表转发业务流量同样丢失。
更有参考价值的情况是:
- 从某一跳开始,后续多跳直到最终目标持续出现相近比例的丢包;
- 最终目标的 TCP 建连也同步出现超时;
- 多个不同网络出口测试得到相似结果;
- 服务器侧抓包看不到客户端发来的 SYN,或看不到预期的返回报文。
MTR 的结果仍然不能替代 TCP 端口测试和服务器侧证据。对 HTTPS 业务,建议同时保留 curl 的 time_connect、HTTP 状态码和 MTR 时间窗口,避免只提交一张路径截图。
路由变化和方向性丢包
链路问题可能是单向的。例如客户端发出的 SYN 能到达服务器,但服务器返回的 SYN/ACK 在回程中丢失;此时客户端表现为连接超时,而服务器抓包可能能看到重复 SYN。也可能是客户端发出的 SYN 根本没有到达服务器,服务器侧完全没有记录。

因此,排查时需要分别回答两个问题:
- 客户端是否发出了 SYN,是否收到 SYN/ACK?
- 服务器是否收到了 SYN,是否发出了 SYN/ACK,之后是否收到客户端 ACK?
如果只有客户端数据,没有服务器侧抓包,往往只能证明“客户端没有完成连接”,不能确定丢包发生在哪一段。
在香港服务器上核对 TCP 和系统资源
服务器侧检查应尽量先做只读采集,不要一开始就重启服务、清理连接或调整防火墙。以下命令主要用于 Linux 主机。
查看总体连接状态
ss -s
输出中的 TCP:、estab、orphaned、timewait 等字段可以帮助了解当前连接概况。进一步按状态统计:
ss -tan state syn-recv | wc -l
ss -tan state syn-sent | wc -l
ss -tan state established | wc -l
ss -tan state time-wait | wc -l
ss -tan state close-wait | wc -l
不同状态对应的排查方向并不相同:
| TCP 状态或现象 | 常见含义 | 优先核对对象 |
|---|---|---|
SYN-RECV 持续偏高 | 服务器收到 SYN,等待客户端完成握手,可能是回程丢包、半连接攻击或监听队列压力 | 回程链路、SYN 队列、防火墙、异常源地址 |
SYN-SENT 偏高 | 本机主动连接外部服务但未完成握手 | 上游依赖、对端服务、出口路由、临时端口 |
ESTABLISHED 持续增长 | 已建立连接没有及时释放,可能是长连接设计或应用处理缓慢 | 应用线程、连接池、请求超时、后端依赖 |
TIME-WAIT 很多 | 主动关闭连接的一方暂时保留状态,短时增长不一定是故障 | 短连接比例、客户端行为、端口范围 |
CLOSE-WAIT 很多 | 对端已关闭连接,但本机应用没有及时 close | 应用代码、进程句柄和连接释放逻辑 |
Refused 增多 | 目标端口未监听或主动拒绝 | 服务进程、监听地址、防火墙策略 |
连接数的“多”不能脱离基线判断。对长连接业务,数千个 ESTABLISHED 可能是设计容量;对短连接网站,几百个持续累积的 CLOSE-WAIT 也可能已经影响服务。应比较正常时段和故障时段,而不是套用一个固定阈值。
查看具体监听端口和进程:
ss -lntp
ss -antp '( sport = :80 or sport = :443 )'
部分系统需要 root 权限才能看到完整进程信息。若命令显示 443 只监听在 127.0.0.1,而公网流量直接访问该端口,就属于监听配置或反向代理拓扑问题,不是链路丢包。
检查文件描述符、CPU、内存和连接跟踪
每个 TCP 连接通常会占用文件描述符。应用进程、系统级文件描述符或连接跟踪表达到上限时,新连接可能失败,但网络路径本身并没有丢包。
查看系统和进程限制:
ulimit -n
cat /proc/sys/fs/file-nr
cat /proc/sys/fs/file-max
查看指定进程的打开文件数,先找到实际 PID:
pgrep -a nginx
pgrep -a php-fpm
再执行:
ls /proc/<PID>/fd | wc -l
cat /proc/<PID>/limits | grep -i "open files"
<PID> 必须替换为实际进程号。不要在未确认进程的情况下对 /proc 或服务配置进行修改。
如果服务器使用防火墙或连接跟踪机制,还应核对表项是否接近上限:
command -v conntrack
sudo conntrack -S
sysctl net.netfilter.nf_conntrack_count
sysctl net.netfilter.nf_conntrack_max
这些命令在未安装相关工具或系统未启用连接跟踪时可能没有输出。nf_conntrack_count 接近 nf_conntrack_max 时,新建连接可能受影响,但仍需结合内核日志、丢弃计数和防火墙规则判断,不能只凭一个数值下结论。
查看 CPU、内存和系统负载:
uptime
free -h
vmstat 1 5
如果故障时间段 CPU 长期接近满载、内存回收频繁或发生交换,应用可能无法及时处理已到达的连接。此时客户端也会看到连接超时或响应迟缓,但根因属于主机资源或应用处理能力,不一定是外部链路丢包。
检查监听队列和内核统计
Linux 可以从 TCP 统计中查看重传、监听溢出等线索:
nstat -az | egrep 'TcpRetransSegs|TcpExtListenOverflows|TcpExtListenDrops|TcpSyncookiesSent|TcpTimeouts'
如果系统没有 nstat,可以尝试:
netstat -s | egrep -i 'retrans|listen|overflow|drop|failed'
这些计数器是累计值,必须记录两次采样的时间和差值。服务器运行很久后,累计重传数较大并不代表当前时段正在严重丢包。
可用以下方式间隔采样:
nstat -az 5 3
若故障期间 TcpRetransSegs 增长明显,说明 TCP 层发生了重传,但重传可能由链路丢包、对端处理慢、拥塞或服务器自身丢弃引起。若 TcpExtListenOverflows、TcpExtListenDrops 同时增长,且 SYN-RECV 或监听队列偏高,应优先把问题交给主机系统和应用维护人员继续核对 backlog、工作进程及连接处理能力。
用抓包确认 SYN 到底停在哪里
抓包是区分链路与主机资源的关键证据之一,但应限定接口、端口和时间,避免产生过大的文件,也要注意请求内容可能包含敏感信息。
先确认网卡名称:
ip -br addr
ip route get 203.0.113.10
在服务器上对公网 443 端口抓取 TCP 握手:
sudo tcpdump -ni any -s 128 \
'tcp port 443 and host 198.51.100.20' \
-c 100
其中 198.51.100.20 替换为实际客户端公网 IP。常见结果可以这样解释:
| 服务器抓包结果 | 更接近的判断 | 交接方向 |
|---|---|---|
| 完全看不到客户端 SYN | 请求可能未到服务器,或访问的是错误 IP/端口 | 客户端出口、DNS、路由、网络服务商 |
| 收到 SYN,发出 SYN/ACK,但没有客户端 ACK | 可能是回程丢包、客户端防火墙或中间设备丢弃 | 网络服务商、客户端网络、回程路径 |
| 收到 SYN,发出 SYN/ACK,也收到 ACK,但应用无响应 | TCP 已建立,重点检查主机和应用 | 主机系统、Web 服务、应用团队 |
| 收到 RST 或主动发送 RST | 端口、监听程序或策略主动拒绝 | 服务进程、防火墙、监听配置 |
SYN 大量来自异常源地址,SYN-RECV 累积 | 可能存在异常扫描、半连接压力或攻击流量 | 安全策略、主机系统、网络服务商 |
抓包中的时间戳应与客户端测试时间统一到同一时区,最好使用 UTC 或明确标注时区。若客户端公网 IP 会变化,交接时必须记录测试时实际的出口地址,否则服务器侧很难从大量流量中定位对应连接。
把“系统连接耗尽”和“应用响应慢”分开
系统连接资源耗尽的典型证据
以下现象同时出现时,系统资源耗尽的可能性会上升:
- 新连接失败,但服务器侧能看到对应 SYN;
SYN-RECV、监听队列或监听溢出计数在故障时段增长;- 文件描述符接近进程或系统上限;
nf_conntrack_count接近上限;- CPU、内存、交换区或内核软中断压力明显;
- 已有连接数量异常增长,尤其是大量
CLOSE-WAIT; - 本机访问其他外部服务也出现建立连接慢,
SYN-SENT增多。
这种情况通常由主机系统管理员、Web 服务维护人员或应用负责人共同处理。调整 somaxconn、文件描述符、连接跟踪上限或防火墙规则前,应先确认业务模型、当前值、变更影响和回滚方式,不能用简单扩大参数替代根因分析。配置变更还可能使系统接受更多连接,却把压力推迟到应用、内存或数据库层。
应用响应慢的典型证据
如果 time_connect 较低,服务器抓包也显示三次握手完成,但 time_starttransfer 很高,通常应查看:
- Nginx、Apache 或其他 Web 服务的工作进程和连接池;
- PHP-FPM、Java、Node.js 等应用线程或事件循环;
- 数据库连接池、慢查询和锁等待;
- 外部 API、对象存储或缓存服务的响应;
- 应用自身的请求超时和重试设置。
此时继续增加网络带宽或反复测试 MTR,通常不能直接解决页面响应慢的问题。交接给应用团队时,应提供请求时间、URL 路径、HTTP 状态码、time_connect、time_starttransfer、总耗时和对应的应用日志请求 ID。
针对网站、业务后台、数据库和接口服务中的连接与响应场景,A5数据提供中国香港物理服务器租用,覆盖入门建站、Xeon Gold及AMD EPYC等配置,并配备SSD或NVMe存储、不同内存规格及CN2、国际带宽选项。企业可结合访问地区、程序负载和网络需求,构建相应的主机与线路资源基础。
责任边界:按证据交给对应团队
香港服务器 TCP 异常通常涉及多个协作方,建议按“能观察到什么、谁能改变什么”划分边界,而不是根据服务器所在地区直接判断责任。
| 观察结果 | 优先负责方 | 需要继续核对的内容 |
|---|---|---|
| 只有一台电脑或一个办公出口异常 | 本地网络或客户端出口 | 本地丢包、出口公网 IP、IPv4/IPv6、终端防火墙 |
| 多个客户端解析到不同 IP,只有部分 IP 异常 | DNS 或流量调度维护方 | A/AAAA 记录、TTL、解析线路、故障节点 |
| 多个独立出口到同一 IP 的 TCP 握手均超时,服务器无 SYN | 网络服务商或路由相关方 | MTR、BGP/路由变化、入方向路径 |
| 服务器收到 SYN,但客户端收不到 SYN/ACK | 回程链路、客户端出口或中间设备 | 双向抓包、源地址、回程路由 |
| 服务器收到 SYN,监听队列或系统资源达到压力 | 主机系统和应用维护方 | ss、文件描述符、conntrack、内核计数器 |
| TCP 建立成功,HTTP 首字节延迟高 | 网站应用或后端依赖方 | Web 日志、应用耗时、数据库和外部依赖 |
| 只有某个端口失败,其他端口正常 | 端口监听或防火墙策略 | ss -lntp、安全组、主机防火墙和服务配置 |
同一时间段内,网络团队和主机团队应分别提供一份证据。网络团队不能只给“线路正常”的结论,主机团队也不能只给“CPU正常”的结论;需要把测试源地址、目标地址、端口、时间和观测结果对应起来。
推荐的交接信息格式
出现间歇性异常时,最容易丢失的是时间和源地址。可以按以下格式整理,不需要把完整业务日志全部发送出去:
业务域名:
目标端口:
解析到的 A/AAAA 地址:
客户端公网 IP:
测试时间及时间区间:
客户端网络位置:
IPv4 结果:
IPv6 结果:
DNS 解析耗时:
TCP connect 耗时:
TLS/HTTP 首字节耗时:
HTTP 状态码或错误信息:
MTR 目标及测试次数:
服务器 ss 状态统计:
文件描述符/conntrack 采样:
服务器抓包是否看到 SYN:
服务器是否返回 SYN/ACK:
故障是否影响已有连接:
日志、抓包和公网 IP 中可能包含账号、Cookie、请求参数或内部地址。对外共享前,应脱敏业务凭据;但不要删除用于定位的时间戳、端口、源 IP 和目标 IP。
下一步按低风险顺序执行
建议先在同一故障时间窗口完成以下动作:
- 使用至少两个不同网络出口测试同一域名,并分别记录 IPv4、IPv6、解析结果和 TCP 建连耗时。
- 在香港服务器上采集
ss -s、指定端口连接状态、CPU、内存、文件描述符和内核 TCP 计数器。 - 对照服务器抓包确认 SYN 是否到达、SYN/ACK 是否发出、客户端 ACK 是否返回。
- 若握手未完成,将客户端结果、MTR、源地址和服务器抓包交给网络服务商或出口网络负责人。
- 若握手已完成但连接数、监听队列或系统资源异常,将采样结果交给主机系统和应用负责人。
- 若 TCP 正常而首字节或总响应时间升高,再根据请求日志和请求 ID交给网站应用、数据库或后端依赖负责人。
只有当证据显示链路方向、服务器 TCP 状态或应用响应阶段中的某一层异常后,才进入对应层的配置调整和修复。这样既能避免把普通的应用阻塞误判为香港线路丢包,也能避免把真实的路由或回程问题归咎于服务器连接数。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5126.html
