黑五前一周，我站在美国洛杉矶机房的走道上，耳边全是风扇声。去年的大促我们只撑了 23 分钟：单点数据库扛不住、单条线路丢包高、CDN 回源被打穿。我还记得凌晨 2:17 的报警声，此后 4 小时我们在“救火”。今年我想把“救火”变成“看火”：三地多活、美国多线路回源、数据库半同步 + 读写分离、Nginx 微缓存、Redis 热点保护、Route 53 健康检查 + GeoDNS，必要时还能切到 Anycast/BGP。下面是我这次完整落地的方案与全过程。

1）目标与指标（SLO/SLA）

• 高可用：区域级故障不影响下单；任一单点失效业务可继续（RTO ≤ 5 min，RPO ≤ 30 s）。
• 性能：北美用户主路径 P95 < 200 ms（静态命中 CDN 情况下），回源 P95 < 400 ms。
• 容量：峰值 QPS ≥ 40k 静态 / 6k 动态（三地合计），CDN 命中率 ≥ 92%。
• 成本：保留 30% 冗余（N+1），合规可灰度下线任一区域。

2）架构一览（文字拓扑）

用户 → CDN/WAF(多厂商) → GeoDNS/GSLB
                     ↘
       ┌──────── LAX 区域（西） ────────┐
       │  LB(Nginx/Haproxy, VRRP)       │
       │  App(容器/Node)  Redis         │
       │  ProxySQL → MySQL 只读副本     │
       │  Exporters + Prom/Loki + EFK   │
       └────↑ 多线路上联（ISP A/B）─────┘
                     │
       ┌──────── DFW 区域（中） ────────┐
       │  LB/APP/Redis/ProxySQL         │
       │  MySQL 主库(半同步)            │
       └────↑ 多线路上联（ISP A/B）─────┘
                     │
       ┌──────── IAD 区域（东） ────────┐
       │  LB/APP/Redis/ProxySQL         │
       │  MySQL 只读副本(半同步)        │
       └────↑ 多线路上联（ISP B/C）─────┘

  监控：Prometheus + Grafana + Loki + Blackbox
  DNS：Route53 基于延迟路由 + 健康检查；紧急时切流

3）硬件与网络选型（我实际下单的 SKU）

说明：为了“多线路”，我要求供应商在同一台服务器上提供 双上联（双ISP），一个走例如 Lumen/Zayo（ISP A），另一个走 HE/Cogent/CMI（ISP B/C）；没有自有 ASN 时用策略路由 + 健康检查实现“主备/劈流”。

4）多线路策略（两条路径，按团队体量选）

4.1 有 ASN/IP 段（高阶）

• 机房侧与多家 Transit 建立 BGP，对外发布前缀（可 Anycast）。
• 利用 BGP 社区 + 本地优先级 控制出口；全网 Anycast VIP 由就近入口接入，回源最优路径。
• 建议用 FRR 统一管理，BFD 做快速探测。

FRR BGP 片段（示例）：

router bgp 65001
 bgp router-id 203.0.113.10
 neighbor 198.51.100.1 remote-as 1299   # ISP A
 neighbor 203.0.113.1  remote-as 3356   # ISP B
 !
 address-family ipv4 unicast
  network 203.0.113.0/24
  neighbor 198.51.100.1 route-map PREF-A out
  neighbor 203.0.113.1  route-map PREF-B out
 exit-address-family
!
route-map PREF-A permit 10
 set local-preference 200
route-map PREF-B permit 10
 set local-preference 150

4.2 无 ASN/IP 段（大多数团队的现实做法）

主路由：ISP A；备路由：ISP B。

通过 ip rule + 多路由表 实现“新建连接走主路由、探测失败自动切备”，Keepalived 监控连通性。

全局流量调度用 Route 53 Latency/Health，将用户解析到就近健康区域。

策略路由脚本（双网卡 eth0/eth1）：

# 主路由表100（ISP A）
ip route add default via 10.0.0.1 dev eth0 table 100
ip rule add from 10.0.0.0/24 table 100 priority 100

# 备路由表200（ISP B）
ip route add default via 10.0.1.1 dev eth1 table 200
ip rule add from 10.0.1.0/24 table 200 priority 200

# 健康检查脚本（给 keepalived track_script 用）
cat >/usr/local/bin/route-check.sh <<'EOF'
#!/usr/bin/env bash
A_GW=10.0.0.1
B_GW=10.0.1.1
if ping -I eth0 -c2 -W1 $A_GW >/dev/null; then
  ip route replace default via $A_GW dev eth0
  exit 0
elif ping -I eth1 -c2 -W1 $B_GW >/dev/null; then
  ip route replace default via $B_GW dev eth1
  exit 0
else
  exit 1
fi
EOF
chmod +x /usr/local/bin/route-check.sh

Keepalived（VRRP+探测）：

vrrp_instance VI_10 {
  state MASTER
  interface eth0
  virtual_router_id 10
  priority 120
  advert_int 1
  virtual_ipaddress {
    192.0.2.10/24 dev eth0
  }
  track_script {
    chk_route
  }
}

vrrp_script chk_route {
  script "/usr/local/bin/route-check.sh"
  interval 2
  fall 2
  rise 2
}

5）系统初始化（CentOS 7 / AlmaLinux）

注：CentOS 7 已 EOL，我在生产仍保留了 CentOS 7 节点（兼容老业务），同时新节点首选 AlmaLinux 8/9。以下两套命令都给出。

5.1 通用优化（内核/文件句柄/队列）

sysctl（高并发基线）：

# /etc/sysctl.d/99-tuning.conf
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.ip_local_port_range = 10240 65535
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_rmem = 4096 87380 67108864
net.ipv4.tcp_wmem = 4096 65536 67108864
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_congestion_control = bbr
net.core.default_qdisc = fq
fs.file-max = 2097152
vm.max_map_count = 262144

ulimit：

cat >/etc/security/limits.d/99-nofile.conf <<EOF
* soft nofile 1048576
* hard nofile 1048576
EOF

BBR（CentOS 7 需升级内核）：

# CentOS 7
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml
grub2-set-default 0 && reboot
# AlmaLinux 8/9 默认已支持 fq+bbr，确认后 sysctl 生效

中断绑核（示例）：

# 将万兆网卡队列绑到不同 CPU，以减轻抢占
for i in {0..15}; do
  echo $((1<<i)) > /proc/irq/$IRQ_NUM/affinity
done

6）Web 层：Nginx（OpenResty）+ 微缓存

安装（以 AlmaLinux 8 为例，CentOS7 类似）：

yum install -y openresty openresty-resty

Nginx 关键配置（微缓存 + 热点保护）：

worker_processes auto;
worker_rlimit_nofile 1048576;

events {
  worker_connections 65535;
  multi_accept on;
  use epoll;
}

http {
  include       mime.types;
  sendfile      on;
  tcp_nopush    on;
  tcp_nodelay   on;
  keepalive_timeout  65;

  # 微缓存区域
  proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=micro:512m
                   max_size=20g inactive=60s use_temp_path=off;

  map $request_uri $nocache {
    default         0;
    ~*(/cart|/checkout|/account) 1;
  }

  upstream app_pool {
    server 127.0.0.1:3000 max_fails=2 fail_timeout=2s;
    keepalive 256;
  }

  server {
    listen 80 reuseport;
    server_name _;
    # WAF/边缘已做 HTTPS，这里做回源/探针；若直连则加证书段

    location /healthz {
      return 200 "ok\n";
    }

    location / {
      proxy_set_header Host $host;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Forwarded-Proto $scheme;
      proxy_next_upstream error timeout http_500 http_502 http_503 http_504;

      # 热点保护：对动态 GET 微缓存 1~2 秒，削峰
      proxy_cache micro;
      proxy_cache_valid 200 1s;
      proxy_cache_bypass $nocache;
      add_header X-Cache $upstream_cache_status;
      proxy_pass http://app_pool;
    }

    # 静态资源长缓存
    location ~* \.(js|css|png|jpg|jpeg|gif|svg|woff2?)$ {
      expires 30d;
      access_log off;
      try_files $uri @app;
    }

    location @app { proxy_pass http://app_pool; }
  }
}

7）应用层：容器编排（docker-compose）

# docker-compose.yml
version: "3.8"
services:
  app:
    image: node:20-alpine
    working_dir: /srv/app
    volumes:
      - ./app:/srv/app
    command: [ "sh", "-c", "npm ci && npm run start" ]
    environment:
      - NODE_ENV=production
      - REDIS_URL=redis://redis:6379/0
      - DB_HOST=proxysql
      - DB_USER=shop_rw
      - DB_PASS=${DB_PASS}
    networks: [ appnet ]
    restart: always

  redis:
    image: redis:7
    command: ["redis-server","/usr/local/etc/redis/redis.conf"]
    volumes:
      - ./redis/redis.conf:/usr/local/etc/redis/redis.conf
      - redisdata:/data
    networks: [ appnet ]
    restart: always

  proxysql:
    image: proxysql/proxysql:2.6
    volumes:
      - ./proxysql.cnf:/etc/proxysql.cnf
    networks: [ appnet ]
    restart: always

networks:
  appnet:

volumes:
  redisdata:

Redis（热点保护）：

# redis.conf
maxmemory 8gb
maxmemory-policy allkeys-lru
appendonly no

8）数据库层：MySQL 半同步 + 读写分离

主库（DFW）开启半同步：

INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
SET GLOBAL rpl_semi_sync_master_enabled = ON;
SET GLOBAL rpl_semi_sync_master_timeout = 3000; -- 3s

只读副本（LAX/IAD）：

INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
SET GLOBAL rpl_semi_sync_slave_enabled = ON;
CHANGE MASTER TO
  MASTER_HOST='dfw-master.internal',
  MASTER_USER='repl',
  MASTER_PASSWORD='***',
  MASTER_AUTO_POSITION=1;
START SLAVE;

ProxySQL（写入走主、读取就近副本）：

-- admin interface 6032
INSERT INTO mysql_servers(hostgroup_id, hostname, port)
VALUES (10,'dfw-master',3306),(20,'lax-replica',3306),(20,'iad-replica',3306);

-- 写入组=10，只读组=20
INSERT INTO mysql_replication_hostgroups (writer_hostgroup, reader_hostgroup)
VALUES (10,20);

INSERT INTO mysql_users(username,password,default_hostgroup,transaction_persistent)
VALUES ('shop_rw','***',10,1), ('shop_ro','***',20,0);

LOAD MYSQL SERVERS TO RUNTIME; SAVE MYSQL SERVERS TO DISK;
LOAD MYSQL USERS TO RUNTIME;   SAVE MYSQL USERS TO DISK;

9）CDN/WAF 与 GeoDNS

CDN：至少两家（如 Cloudflare + Akamai/Fastly），主备或应用分层（静态主、API 备）。

回源：CNAME 到区域 LB VIP（Route 53 按延迟解析）。

健康检查：/healthz；任一区域失败即剔除，TTL 30–60 s。

WAF：核心规则（SQLi/XSS/路径遍历），对 /checkout /api/order 设严格规则，其他路径宽松 + 观察模式。

缓存策略：静态 max-age=30d，HTML stale-while-revalidate=30s，下单接口不缓存。

示例：HTML 响应头（应用层）

Cache-Control: public, max-age=0, s-maxage=2, stale-while-revalidate=30

10）监控与告警（我用的最小闭环）

Prometheus：node_exporter、nginx_exporter、mysqld_exporter、blackbox_exporter（对外探测）。

Grafana：业务大盘（QPS、P95、缓存命中率、失败率）、区域大盘（丢包、RTT、BGP/BFD）。

Loki/EFK：集中日志，按 trace-id 关联。

告警策略（片段，PromQL）：

# 5 分钟失败率 > 1%
sum(rate(nginx_http_requests_total{status=~"5.."}[5m])) /
sum(rate(nginx_http_requests_total[5m])) > 0.01

# P95 > 400ms 且 QPS > 500
histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket[5m])) by (le,region)) > 0.4
and sum(rate(http_requests_total[5m])) by (region) > 500

11）容量与压测（黑五前一周我做了三轮）

压测工具：wrk2（恒定速率）+ k6（场景化）。

# 静态资源
wrk -t16 -c512 -d5m -R 40000 https://www.example.com/logo.png

# 动态页面
wrk -t16 -c1024 -d10m -R 6000 --latency https://www.example.com/product/123

# k6 购物车/下单场景
k6 run -e BASE_URL=https://www.example.com k6-checkout.js

压测记录（节选）

12）安全与风控要点

mTLS：CDN → 源站开 mTLS，限制来源 IP 段，防止绕过。

限流：Nginx limit_req 对匿名敏感接口限速（/api/login、/api/checkout）。

机器人治理：静态资源宽松、人机验证仅对下单流程启用。

数据面：只读副本禁止写；ProxySQL 故障转移有白名单，避免“脑裂写”。

13）上线步骤（我实际跑的 Runbook）

• 区域并行装机（LAX/DFW/IAD）→ RAID/文件系统（XFS）→ OS 初始化 + sysctl。
• 多线路打通：策略路由脚本 + Keepalived，健康检查通过后才对外开放。
• 容器上线：docker-compose up -d 各区域拉起 app/redis/proxysql。
• 数据库：DFW 初始化主库 → 建立 GTID 复制 → 开半同步 → LAX/IAD 接入只读。
• CDN/WAF：配置多厂商回源、缓存、WAF 规则；灰度 5% 流量验证。
• GeoDNS：Route 53 延迟路由 + 健康探测；TTL 30–60s；分批引流 30%→60%→100%。
• 压测/回滚预案：每步都有回滚；DNS 有“快速切回单区域”的预案。
• 大促日：只做“开关型”变更（升降限流阈值、缓存 TTL），禁止发布功能代码。

14）我踩过的坑与现场解法

Cloud WAF 回源 MTU：GRE/隧道导致 PMTU 错误，部分链路丢包。
解法：对回源口设置 mtu 1400，Nginx 开 proxy_http_version 1.1 并关闭 proxy_buffering 于大文件场景。

TIME_WAIT 爆炸：短连接过多导致端口耗尽。
解法：启用 keepalive、扩大 ip_local_port_range、微缓存减少后端连接数。

半同步抖动：副本短时不可用导致主库写阻塞。
解法：rpl_semi_sync_master_timeout=3000，ProxySQL 写入兜底直连主库。

CDN 缓存击穿：单商品热点 20k QPS。
解法：应用端加“单飞”互斥（Redis setnx + 短 TTL）、Nginx 微缓存 1–2s。

DNS 缓慢收敛：部分运营商不尊重 TTL。
解法：多厂商 CDN 的“全局开关”按钮作为硬切流；同时准备 BGP Anycast 的“兜底 VIP”。

15）关键配置清单（可直接抄用）

Route 53 健康检查策略（要点）

Record：www.example.com → us-west.example.com / us-central.example.com / us-east.example.com

Routing policy：Latency；Health check path：/healthz，Interval 10s，Failure threshold 3，TTL 30–60s。

Nginx 限流（示例）

limit_req_zone $binary_remote_addr zone=api:10m rate=10r/s;

location /api/checkout {
  limit_req zone=api burst=20 nodelay;
  proxy_pass http://app_pool;
}

系统定时校时

yum install -y chrony
systemctl enable --now chronyd
chronyc sources -v

16）成本与容量规划（黑五前复盘表）

经验：把“多厂商成本”当作“保险费”，出事时它值回票价。

大促之夜的对话框

今年黑五零点，我把报警通道从“响铃”切成了“统计”。Grafana 的 P95 曲线压在 300 ms 以下，CDN 命中率 93% 徘徊，偶尔某区域丢包上来，Route 53 在 20 秒内就把那 10% 流量切到了相邻区域。凌晨 3 点，订单数破了去年的全天。我们没有“救火”，只是按步骤把限流阈值拨高、把微缓存从 1 秒改成 2 秒。
离开机房时，走廊还是冷，但我知道这次不是运气——是多线路、多活与一堆“看起来啰嗦”的小细节，拼出了一晚的安稳。

附：一键初始化脚本（节选）

#!/usr/bin/env bash
# init.sh - baseline tuning for CentOS7/AlmaLinux

set -e

# 1) ulimit
cat >/etc/security/limits.d/99-nofile.conf <<EOF
* soft nofile 1048576
* hard nofile 1048576
EOF

# 2) sysctl
cat >/etc/sysctl.d/99-tuning.conf <<'EOF'
net.core.somaxconn=65535
net.ipv4.tcp_max_syn_backlog=262144
net.ipv4.tcp_fin_timeout=15
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_congestion_control=bbr
net.core.default_qdisc=fq
fs.file-max=2097152
vm.max_map_count=262144
EOF
sysctl --system

# 3) chrony
yum install -y chrony || dnf install -y chrony
systemctl enable --now chronyd

# 4) openresty
yum install -y openresty || dnf install -y openresty

# 5) keepalived
yum install -y keepalived || dnf install -y keepalived

echo "Baseline done."

你可以直接照着这个结构搭：先三地装机与双上联→策略路由/VRRP→Web/Redis/DB 半同步→ProxySQL 读写分离→CDN/WAF/GeoDNS→压测→大促日只做“拨档”。如果你确实有自有 ASN 和可宣告的前缀，就把 GSLB 替换为 Anycast/BGP+BFD，把“秒级切流”做成“收敛在路由级别”的丝滑体验。