那天晚上，我一个人守在香港荃湾机房，北京用户在群里又刷屏：‘首页首字节要 700ms+，卡得慌。’我盯着 Nginx 访问日志里那根长尾，决定今晚只做两件事：打开 TCP Fast Open，把初始拥塞窗口调教到合适的‘起跑线’。这篇文章就是我那晚从定位、实施到复盘的完整记录。希望你读完，能在自己的机器上复刻出同样“明显”的下降曲线。

场景与硬件拓扑

注：你如果是 CentOS 8/Stream 或内核 4.x/5.x，步骤也通用，只是个别命令路径略有差异。

原理：为什么是这两招？

TCP Fast Open（TFO）

第一次访问服务器时，仍是标准三次握手；但拿到 TFO Cookie 后的后续连接，客户端能在 SYN 里携带应用数据，服务器在 SYN-ACK 就能把数据递交上层，从而节省 1 个 RTT。跨境 150ms 的 RTT，省掉一次就是“肉眼可见”的流畅。
（注意：并非所有路径都完美支持 TFO；遇到中间盒丢弃 SYN+Data 时会自动回退，不会影响连通性。）

初始拥塞窗口（Initial Congestion Window, initcwnd）

Linux 默认初始拥塞窗口约 10 × MSS。对于跨境链路，适度把 initcwnd 提到 20–32（按路径丢包与带宽决定）能显著提升“前几包”的发送速度，缩短首屏/首字节时间。过大反而触发重传与队头阻塞，得不偿失。

改之前—我先确认版本/能力边界

# CentOS 版本与内核
cat /etc/centos-release
uname -r

# TFO 是否可用（存在即可）
sysctl net.ipv4.tcp_fastopen

# Nginx 是否支持 fastopen（看编译参数/版本即可，1.11+基本OK）
nginx -V 2>&1 | grep -i version

# 路由表与默认路由（后面要改 initcwnd/initrwnd）
ip route show

# 采样当前链路 RTT 与 TTFB（后面做对比）
for i in {1..5}; do curl -s -o /dev/null -w "connect=%{time_connect} appconnect=%{time_appconnect} starttransfer=%{time_starttransfer}\n" https://你的域名; done

我当时的输出：net.ipv4.tcp_fastopen = 1（仅 server 侧），Nginx 1.20，默认路由经 via 203.x.x.1 dev eth0。

实操一：在内核与 Nginx 层开启 TCP Fast Open

1）内核开启（服务端 + 客户端都启用，增强兼容）

# 同时启用 server 和 client 能力：3（1=server, 2=client, 3=both）
cat <<EOF >/etc/sysctl.d/99-tfo.conf
net.ipv4.tcp_fastopen = 3
EOF
sysctl --system

# 为服务器显式设置 TFO Cookie 秘钥（不强制，但我倾向固定，便于多进程一致性）
# 16字节即可，生产建议写在受限权限文件再加载
openssl rand -hex 16 | awk '{print "net.ipv4.tcp_fastopen_key="$1}' >/etc/sysctl.d/99-tfo-key.conf
sysctl --system

小坑：老一些的 3.10 内核可能没有 tcp_fastopen_key 暴露项，没关系，内核会自动生成随机 key；只要 net.ipv4.tcp_fastopen 正确就是 OK。

2）Nginx 监听开启 TFO（关键）

编辑你站点的 listen：

# /etc/nginx/conf.d/你的站点.conf

server {
    listen 443 ssl http2 reuseport fastopen=4096;  # 4096 是队列长度
    server_name example.com;

    # TLS 基本项（建议 TLS1.3）
    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers   HIGH:!aNULL:!MD5;
    # ...

    location / {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
    }
}

nginx -t && systemctl reload nginx

经验：fastopen= 不是 on/off，而是一个整数，决定 TFO 请求队列长度。跨境流量大时我一般设 2048–8192，先从 4096 开始更稳。

3）抓包确认（可选但我每次都会做）

# 在服务器上抓 443 SYN 包，看是否出现 TFO 选项（新版本 tcpdump 会显示 "tfo" 或 "tcp fast open"）
tcpdump -i eth0 -nnvvv 'tcp[tcpflags] & tcp-syn != 0 and port 443'

实操二：把 initcwnd 与 initrwnd 调到合适的“起跑线”

1）临时调整（立刻生效，便于 A/B）

先看默认路由（示例）：

ip route show default
# default via 203.x.x.1 dev eth0 proto static metric 100

把 initcwnd 提到 20、initrwnd 提到 20（我会先保守到 20，观察丢包/重传再加）：

ip route change default via 203.x.x.1 dev eth0 initcwnd 20 initrwnd 20

验证：

ip route show default
# ... initcwnd 20 initrwnd 20

说明：initcwnd 单位是“以 MSS 为单位的数据段个数”。MSS 常见 ~1448（以 MTU=1500 为例）。

如果你的服务器前面有 云负载均衡/Anycast/CDN 终止 TCP，在源站调 initcwnd 不会影响终端连接——需要在终止端（比如自建四层负载）调整。

2）写入持久配置（CentOS 7）

编辑 /etc/sysconfig/network-scripts/route-eth0（网卡名替换）：

default via 203.x.x.1 dev eth0 initcwnd 20 initrwnd 20

重启网络或机器后仍有效。

小坑：有的自动化/云镜像会用 NetworkManager 统一管理，确保相应的 route-eth0 不被覆盖；我在 Ansible 里把这段做成模板并加了 nmcli connection reload 的 handler。

可选增强：谨慎升级拥塞控制算法

内核 3.10 的默认 CUBIC 足够稳健。

如果你有 新内核（≥4.9），可以尝试 BBR（对长肥管道更友好），记得配 net.core.default_qdisc=fq。

但本文目标是减少握手与起步阶段的延迟，TFO + initcwnd 已经能给到 20–40% 的 TTFB 改善；拥塞算法是锦上添花，先把核心做扎实。

观测与验证：我如何收集“证据”

1）端到端对比（curl）

# 基线（改动前）/ TFO 开后 / TFO+initcwnd
for phase in baseline tfo tfo_initcwnd; do
  echo "== $phase =="
  for i in {1..10}; do
    curl -s -o /dev/null -w "connect=%{time_connect} appconnect=%{time_appconnect} starttransfer=%{time_starttransfer}\n" https://你的域名
  done
  sleep 1
done

2）内核计数器（看 TFO 是否在工作）

grep -i FastOpen /proc/net/netstat | tail -n1
# 会看到诸如 TcpFastOpenActive / TcpFastOpenPassive / TcpFastOpenCookieReqd 等计数增长

3）连接细节（看拥塞窗口增长）

ss -ti 'sport = :443' | head -n 50
# 注意其中 cubic/reno 报告的 cwnd/rtt 变化，初始阶段是否达到预期

我那晚的测试数据（来自北京、上海、广州三处拨测）

三轮各 200 次请求的中位数（Median），单位：毫秒

结论：20–28 是我的甜点区；32 在北京链路上开始出现轻微重传，TTFB反而回弹。

这也印证了那句老话：拥塞窗口不是越大越好，要让它与路径的实际丢包/带宽匹配。

生产可落地的“一键脚本”（可直接拿去 A/B）

cat >/root/tune_tfo_initcwnd.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail

# 参数
GATEWAY="${1:-$(ip route show default | awk '/default/ {print $3; exit}')}"; shift || true
IFACE="${1:-$(ip route show default | awk '/default/ {print $5; exit}')}"; shift || true
INITCWND="${1:-20}"
INITRWND="${2:-20}"
FASTOPEN_QSIZE="${3:-4096}"

echo "[+] Enabling TCP Fast Open (server+client)"
cat >/etc/sysctl.d/99-tfo.conf <<EOT
net.ipv4.tcp_fastopen = 3
EOT

if [ -w /etc/sysctl.d/99-tfo-key.conf ]; then
  echo "[*] Keeping existing TFO key"
else
  echo "[+] Setting TCP Fast Open key"
  openssl rand -hex 16 | awk '{print "net.ipv4.tcp_fastopen_key="$1}' >/etc/sysctl.d/99-tfo-key.conf
fi

sysctl --system >/dev/null

echo "[+] Patching Nginx listen 'fastopen=${FASTOPEN_QSIZE}' (you仍需手工确认具体server段)"
# 提示：自动替换可能有风险，建议你手动在 listen 行加入 fastopen
# 例如：listen 443 ssl http2 reuseport fastopen=4096;

echo "[+] Applying initcwnd/initrwnd on default route"
ip route change default via "${GATEWAY}" dev "${IFACE}" initcwnd "${INITCWND}" initrwnd "${INITRWND}"

echo "[+] Current default route:"
ip route show default

echo "[+] Remember to persist route in /etc/sysconfig/network-scripts/route-${IFACE}"
echo "default via ${GATEWAY} dev ${IFACE} initcwnd ${INITCWND} initrwnd ${INITRWND}"

echo "[✓] Done. Now run your curl bench to compare."
EOF

chmod +x /root/tune_tfo_initcwnd.sh

用法示例：

/root/tune_tfo_initcwnd.sh 203.x.x.1 eth0 20 20 4096

线上常见坑与我的规避方法

中间盒/防火墙对 TFO 的兼容性

现象：SYN+Data 偶发丢弃，某些链路回退到普通握手。

做法：无须关闭 TFO；保持 net.ipv4.tcp_fastopen=3，它会在不支持路径上自动回退。确保应用层 幂等（SYN 重传可能导致重复携带数据，虽然内核已处理，但幂等更安全）。

initcwnd 设太大触发包丢失

现象：首包重传上升、TTFB“回弹”。

做法：从 16–20 开始，边观测 ss -ti 中的 rto/retrans 与 curl 的 starttransfer，逐步拉到 24、28；超过 32 我一般不会在跨境路径上用。

你实际终止 TCP 的并不是 Nginx

现象：源站改了半天，指标没变化。

做法：确认前面有没有云 SLB/CDN/四层 LB 终止 TCP，如果有，需要在终止端支持/开启 TFO 与 initcwnd。否则源站只影响回源链路。

Nginx 的 fastopen= 没改到正确的 listen

现象：抓包看不到 TFO。

做法：确认是 对外 443 的那个 server 块加了 fastopen=，别加到内网回源监听了。

内核计数器读取方式不统一

现象：有人找不到 TFO 计数。

做法：以 /proc/net/netstat 为准，grep FastOpen；新旧内核字段名略有出入，但总能看到 Active/Passive 相关计数。

变更回滚与风控

回滚 initcwnd/initrwnd：

ip route change default via 203.x.x.1 dev eth0 initcwnd 10 initrwnd 10
# 或干脆去掉（回到内核默认）
ip route change default via 203.x.x.1 dev eth0

回滚 TFO：

sysctl -w net.ipv4.tcp_fastopen=1   # 只保留server侧，或
sysctl -w net.ipv4.tcp_fastopen=0   # 全关
systemctl reload nginx

变更窗口：建议夜间低峰，灰度到 10–20% 流量，观察 30 分钟后全量。

FAQ（我经常被问到）

TFO 首次访问能快吗？
基本不能，第一次得拿 Cookie；从第二次开始节省 1 个 RTT。对高复访业务收益更大。

initrwnd 要不要调？
接收窗口初值适度跟着调到 20 左右，能减少对端的“保守发送”；但收益不如 initcwnd 明显，仍建议联动调整。

能不能一步到位设成 32？
不建议。跨境链路质量不一，先 20，再 24、28，用数据说话。

和 TLS1.3/HTTP/3 是什么关系？
TFO 作用在 TCP，TLS1.3 减少握手往返，叠加收益；HTTP/3 走 QUIC/UDP，是另一套路径，本文不展开。

“凌晨 3:40，我在跳线架旁喝完了第二杯冷掉的拿铁。Nginx 里 fastopen=4096 生效、默认路由上 initcwnd=28 稳定，Grafana 的北京拨测 TTFB 中位数从 600ms 级掉到了 390ms。群里有人回了句：‘页面顺了。’
我把脚本和变更记录提交到 Git，给自己留了一条注释：‘跨境优化先动握手：TFO + initcwnd，从 20 起步，用数据调到甜点区。’
如果你也在香港机房守着一台 CentOS 服务器，愿这些细节能帮你把那一口“首字节的气”顺下来。”

Checklist（给你直接照着做）

•  sysctl net.ipv4.tcp_fastopen=3，并配置 fastopen= 到对外 listen
•  默认路由设置 initcwnd=20、initrwnd=20，逐步上调并观察
•  用 curl -w、/proc/net/netstat、ss -ti 验证效果
•  留好回滚方案与灰度方案
•  发现指标回弹：优先检查丢包与是否真正终止在源站

有问题/想要我帮你读一眼 ip route 与 Nginx 配置，直接把段落贴上来。我会按“实战口径”指出能立刻动刀的位置。