几个月前，我接手了一个面向东南亚用户的API网关项目，部署节点集中在香港服务器上。这个系统的访问模型典型而棘手：高并发、大量短连接（HTTP Keep-Alive 不适用），每秒处理上万次瞬时请求。而现实是残酷的——短连接带来的 TCP 握手延迟、TIME_WAIT 堆积、突发连接时的队列溢出让我措手不及。
为了稳住这个高压系统，我深入调优了香港节点的 TCP 栈参数和内核配置，并逐步把连接延迟降低了约 35%，并发处理能力提升了 2 倍以上。这篇文章就是我在这段优化旅程中的完整记录，技术细节一个不少。
一、问题复现与分析：短连接导致的系统瓶颈
我们面临的核心问题如下：
- TCP 三次握手频繁：每次连接都触发 SYN -> SYN+ACK -> ACK。
- 大量连接处于 TIME_WAIT 状态：消耗 socket 资源和内核表项。
- 突发请求导致 accept 队列耗尽：应用无法及时处理连接。
- TCP backlog 拥堵，连接超时/被拒：用户侧感知为间歇性卡顿。
通过以下命令观察系统瓶颈：
netstat -nat | awk '{print $6}' | sort | uniq -c
ss -s
dstat -tcnm
watch -n1 "cat /proc/net/netstat | grep -E 'ListenDrops|ListenOverflows'"
二、内核 TCP 参数优化方案
1. 优化 TIME_WAIT 清理机制
短连接模型下 TIME_WAIT 数量快速攀升是常态。我们通过缩短该状态生命周期并复用端口来缓解。
sysctl -w net.ipv4.tcp_fin_timeout=10
sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_tw_recycle=0 # 不建议开启，因 NAT 问题已废弃
解释：
- tcp_fin_timeout=10：将 FIN_WAIT2 和 TIME_WAIT 生命周期缩短为 10 秒。
- tcp_tw_reuse=1：允许在 TIME_WAIT 的 socket 上快速复用端口。
2. 增加端口可用范围与连接追踪表
sysctl -w net.ipv4.ip_local_port_range="1024 65000"
sysctl -w net.netfilter.nf_conntrack_max=2097152
sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=10
这些参数扩大了并发可用端口范围，防止 bind: Address already in use 错误，同时扩大了连接追踪表，提高防火墙能力。
3. 提高 TCP backlog 与处理能力
sysctl -w net.core.somaxconn=65535
sysctl -w net.ipv4.tcp_max_syn_backlog=8192
应用程序需调用 listen() 设置合适的 backlog，somaxconn 决定最大排队数，tcp_max_syn_backlog 决定三次握手过程中内核能接收的 SYN 请求数量。
4. 启用 TCP 快速打开（TFO）
TCP Fast Open 能跳过握手中的 RTT 延迟，在 SYN 阶段就发送数据。
sysctl -w net.ipv4.tcp_fastopen=3 # 支持客户端和服务端
服务器还需要在 socket 层显式开启 TFO，例如 Nginx 可加：
listen 443 fastopen=256;
三、网络设备与队列参数调整
香港地区不少机房的网卡支持多队列并行处理，但默认队列太少、内核分发能力不足。
ethtool -L eth0 combined 8 # 提升中断队列数
ethtool -K eth0 tso off gso off gro off # 关闭分段聚合，适配低延迟
结合 irqbalance 和 NUMA 绑定优化 CPU 亲和性：
echo 2 > /proc/irq/xx/smp_affinity
四、应用层短连接并发模型优化建议
即便内核调优得当，应用本身也要配合使用高性能的事件驱动模型（如 epoll/kqueue），避免每个连接都使用线程阻塞处理。
比如 Nginx 配置建议：
worker_processes auto;
worker_connections 65535;
use epoll;
multi_accept on;
如果用 Golang 自写服务，需使用 netpoll 或 gnet 之类的库，绕开 Go 原生连接模型对短连接性能的损耗。
五、实测效果对比
| 优化前 | 优化后 |
|---|---|
| 平均延迟：47ms | 平均延迟：29ms |
| 并发连接：8K | 并发连接：18K |
| TIME_WAIT 数量：持续 10w+ | 降到 5w 以下 |
| SYN 丢包率：4% | <0.5% |
结合 wrk 和 tcpdump 压测，我们在真实业务中看到明显的稳定性提升，并且延迟抖动控制在 <10ms 范围。
六、短连接优化从不是“调几个参数”这么简单
优化香港服务器短连接延迟的关键是理解系统瓶颈：内核 TCP 栈拥堵、TIME_WAIT 累积、端口耗尽、backlog 被打爆，这些都不是单一设置能解决的。我这次的调优是一个系统性的工作，从内核、网络队列、socket、应用全链路入手，最终让 API 系统的 QPS 稳定支撑在 4 倍负载上限。
