那天晚上 23:40，我在香港机房机柜前确认最后一条 BGP 路由策略。Slack 上，前端同学在催“新品轮播图刚改了 URL，可以再帮忙预热一下吗”。监控大屏上，CDN 命中率从 82% 缓慢爬到 94%，WAF 规则命中曲线像心电图一样稳。我知道，再过 20 分钟，东八区 0 点，跨境电商的“秒杀”大幕就要拉开——这台落在香港葵涌的机柜，会先接住第一波流量海啸。

这篇文章，是我在那次活动前后总结的一整套“香港服务器 + 大带宽 + CDN 预热”的实战手册：环境、参数、脚本、坑，以及临场决策。

1. 场景与目标

业务场景：跨境电商，面向内地与东南亚用户，活动峰值集中在 0 点和午间两个波峰；静态资源体量大（图片/视频/3D 试穿）、商品详情页模板可缓存、部分价格与库存走动态接口。

技术目标：

• 把静态资源和可静态化的页面尽量扔给 CDN；
• 把动态接口做细粒度缓存与限流降级；
• 港区机房提供足够的回源带宽与稳态吞吐，并且在“打满”的极端情况下仍可控。

2. 基础设施与参数（CentOS 7 实测）

2.1 机房与服务器硬件

操作系统：CentOS 7.9（内核升级至 5.4 LTS，开启 BBR）

CDN：多家叠加（主用 + 备援），带预热 API与“等待室/排队页”。

3. 网络与内核调优

CentOS 7 默认内核 3.10 不支持 BBR，我在活动前两周将内核升至 5.4（ELRepo），并统一 Ansible 下发。

3.1 升级内核与启用 BBR

# 仅示例，生产前请在灰度环境充分验证
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml
grub2-set-default 0 && reboot

# 重启后
sysctl -w net.core.default_qdisc=fq
sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl -p

3.2 sysctl.conf（回源池服务器）

cat >/etc/sysctl.d/99-seckill.conf <<'EOF'
fs.file-max = 12000000
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 262144
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456

net.ipv4.ip_local_port_range = 10240 65535
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_sack = 1
net.ipv4.tcp_fastopen = 3

net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728

net.nf_conntrack_max = 8388608
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
EOF

sysctl --system
ulimit -n 1048576

3.3 网卡与中断优化（双 25G）

# 中断绑核（示例按 NUMA 分布）
for i in $(grep eth0 /proc/interrupts|awk '{print $1}'|sed 's/://'); do
  CPU=$(( (COUNT++) % 32 ))
  printf "%x" $((1<<CPU)) > /proc/irq/$i/smp_affinity
done

# 增大队列与环形缓冲
ethtool -G eth0 rx 4096 tx 4096
ethtool -K eth0 gro on gso on tso on lro off

# RPS/XPS
echo ffffffff > /sys/class/net/eth0/queues/rx-0/rps_cpus
echo 32768     > /proc/sys/net/core/rps_sock_flow_entries

4. 架构与流量路径

用户 -> CDN/WAF(多厂商, BGP Anycast, 等待室) 
        -> 回源(香港) HAProxy(L4/L7) 
           -> Nginx(动静分离, 缓存) 
              -> App(微服务) -> Redis(库存/令牌) -> MySQL
           -> 对象存储网关(静态大文件, 图片/视频)

• 静态资源/可静态化页面：尽量 CDN 命中；
• 动态接口：细粒度缓存（TOKEN 验证前后拆层），严格限流+熔断；
• 预热：在 T-30min 完成首批 URL 预热（商品页、榜单页、首屏接口、CSS/JS/图集、海报图）；T-5min 做增量预热。

5. CDN 预热策略与实现

5.1 URL 清单与分层

我的做法：所有可缓存的接口统一增加 ver 维度，缓存 Key 去参数白名单，对追踪参数（如 utm_*、spm）统一忽略，极大减少碎片化。

5.2 预热脚本（通用 REST API 版）

各 CDN 厂商 API 不同，但思路一致：分批、限速、重试、并发控制。

#!/usr/bin/env python3
# prewarm.py
import json, time, threading, queue, requests

CDN_API = "https://cdn.example.com/v1/prewarm"
TOKEN   = "YOUR_API_TOKEN"
BATCH   = 200
QPS     = 5          # 控制厂商侧限速
RETRY   = 3

def push_batch(urls):
    for i in range(RETRY):
        try:
            r = requests.post(CDN_API,
                headers={"Authorization": f"Bearer {TOKEN}",
                         "Content-Type":"application/json"},
                data=json.dumps({"urls": urls}))
            if r.status_code == 200:
                return True
        except Exception:
            pass
        time.sleep(2**i)
    return False

def worker(q):
    while True:
        urls = q.get()
        if urls is None: break
        ok = push_batch(urls)
        print("PUSH", len(urls), "OK" if ok else "FAIL")
        time.sleep(1.0 / QPS)
        q.task_done()

if __name__ == "__main__":
    with open("warm_urls.txt") as f:
        all_urls = [x.strip() for x in f if x.strip()]
    chunks = [all_urls[i:i+BATCH] for i in range(0, len(all_urls), BATCH)]
    q = queue.Queue()
    ths = [threading.Thread(target=worker, args=(q,), daemon=True) for _ in range(4)]
    [t.start() for t in ths]
    [q.put(c) for c in chunks]
    q.join()
    [q.put(None) for _ in ths]

定时（crontab）：

# T-30min 与 T-5min 执行（示例）
30 23 * * * /usr/local/bin/python3 /opt/tools/prewarm.py >>/var/log/prewarm.log 2>&1
55 23 * * * /usr/local/bin/python3 /opt/tools/prewarm.py >>/var/log/prewarm.log 2>&1

5.3 回源缓存头与再验证

Nginx（静态/可静态化页面）：

map $arg_ver $cache_bypass {
  default 0;
  ""      1;   # 无 ver 一律不缓存（防止脏）
}

server {
  listen 443 ssl http2;
  server_name origin.example.com;

  # Brotli/Gzip
  brotli on; brotli_comp_level 5; brotli_types text/plain text/css application/javascript application/json image/svg+xml;
  gzip on; gzip_types text/plain text/css application/javascript application/json image/svg+xml;

  location ~* \.(?:html)$ {
    add_header Cache-Control "public, max-age=600, stale-while-revalidate=60";
    add_header ETag $upstream_http_etag;
    try_files $uri =404;
  }

  location /static/ {
    add_header Cache-Control "public, max-age=604800, immutable";
    try_files $uri =404;
  }

  # 图片使用 WebP/AVIF 优先
  location ~* \.(?:png|jpe?g)$ {
    add_header Vary "Accept";
    add_header Cache-Control "public, max-age=2592000";
    # 后端有动态转换，可在此做 406 协商
  }
}

要点：

静态资源文件名强版本化 + Cache-Control: immutable；

HTML 10 分钟 TTL + stale-while-revalidate（CDN 支持时收益明显）；

通过 Vary: Accept、Vary: Accept-Encoding 合理拆 Key，避免乱拆。

6. 回源层（HAProxy + Nginx）配置

6.1 HAProxy（TLS 终止 + L7 转发）

CentOS 7 上建议使用带 OpenSSL 1.1.1 的 HAProxy 2.4+（静态编译或额外仓库）。

global
  log /dev/log local0
  maxconn 500000
  tune.ssl.default-dh-param 2048
  ssl-default-bind-options no-sslv3 no-tlsv10 no-tlsv11
  ssl-default-bind-ciphersuites TLS_AES_128_GCM_SHA256:TLS_AES_256_GCM_SHA384
  nbthread 16
  cpu-map auto:1/1-16 0-15

defaults
  mode http
  option httplog
  timeout connect 3s
  timeout client  30s
  timeout server  30s
  timeout http-keep-alive 10s
  option http-buffer-request
  option http-keep-alive

frontend fe_https
  bind :443 ssl crt /etc/haproxy/certs/origin.pem alpn h2,http/1.1
  http-response set-header Strict-Transport-Security max-age=31536000
  acl is_static path_beg /static/ /img/ /video/
  use_backend be_static if is_static
  default_backend be_dynamic

backend be_static
  balance uri
  server s1 10.0.1.11:8080 check maxconn 50000
  server s2 10.0.1.12:8080 check maxconn 50000

backend be_dynamic
  balance hdr(User-Id)
  server a1 10.0.2.21:8080 check maxconn 40000
  server a2 10.0.2.22:8080 check maxconn 40000

6.2 Nginx（动静分离 + 微缓存）

proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=htmlcache:2g max_size=200g inactive=30m use_temp_path=off;

map $request_method $microcache_bypass { default 0; POST 1; }

server {
  listen 8080 reuseport;
  server_name origin.example.com;

  # 微缓存：对半静态 API 护航
  location /api/home/blocks {
    proxy_cache htmlcache;
    proxy_cache_valid 200 302 1m;
    proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
    proxy_ignore_headers Cache-Control Expires Set-Cookie;
    proxy_no_cache $microcache_bypass;
    add_header X-Cache $upstream_cache_status;
    proxy_pass http://app_cluster;
  }

  # 强动态：不缓存 + 严限流
  location /api/order/create {
    limit_req zone=create burst=20 nodelay;
    proxy_pass http://app_cluster;
  }
}

7. “秒杀”核心：令牌闸门 + 库存原子扣减

7.1 令牌桶（Redis）

发放入口：只有拿到令牌（token）的请求才允许进入下单接口。令牌按活动时间窗与人群优先级分批投入。

-- token_take.lua：从令牌桶取一个
-- KEYS[1] = token bucket key, ARGV[1] = user_id
local cnt = redis.call('LLEN', KEYS[1])
if cnt > 0 then
  local token = redis.call('LPOP', KEYS[1])
  redis.call('SETEX', 'user:token:'..ARGV[1], 300, token)
  return token
else
  return nil
end

7.2 库存扣减（原子）
-- stock_decr.lua：原子扣减
-- KEYS[1] = "stock:sku:123", ARGV[1] = qty
local stock = tonumber(redis.call('GET', KEYS[1]) or "0")
local need = tonumber(ARGV[1])
if stock >= need then
  redis.call('DECRBY', KEYS[1], need)
  return 1
else
  return 0
end

流程：

GET token → 校验 → stock_decr.lua → 下单异步入队(Kafka) → 支付网关 → 最终一致性回写

优势：前台快速响应，避免数据库热点行锁。

8. 安全与风控

• CDN 等待室：在队尾给出排队页，保护回源不被压穿。
• WAF 规则：禁止异常 UA、空 Referer 的 POST 至下单，限制 IP+UA 的 QPS。
• 签名防刷：下单接口走 HMAC(userId, ts, salt)，CDN/边缘与回源共同校验。
• 灰度开闸：T-60s 按 1%、5%、20% 逐步扩大令牌发放，监控“5xx/尾延时”。

9. 监控指标面板（核心视图）

10. 压测与容量估算（实测数据）

结论：只要 CDN 预热覆盖入口页、前 3 页列表、TOP 5k SKU 的详情与素材，回源带宽就能稳定在 40 Gbps 内。

11. 运行手册（Runbook）

T-48 小时

• 确认IP 段白名单、证书到期、BGP 公告与 DDoS 服务状态。
• 预生成 warm_urls.txt（首屏/列表/详情/CSS/JS/图片 TopN）。
• 灰度内核与 Nginx 版本至 10% 节点，跑 24 小时。

T-24 小时

• 全量生成静态 HTML 与版本化静态资源，上传对像存储/回源池。
• CDN 规则审计：忽略追踪参数、stale-while-revalidate 开启、Key 归一。
• 压测 30 分钟，记录基线。

T-2 小时

• 执行首轮预热，验证命中率与回源峰值曲线。
• 打开等待室（隐藏状态），预设阈值。
• Redis 预装令牌（未“开闸”）。

T-30 分钟

• 第二轮预热（新增与变更 URL）。
• 只读实例切换健康检查。
• Slack/飞书开专用战情频道，设三级响应人。

T-5 分钟

• 发布“开闸”计划：1%→5%→20%→50%→100%，每级 10 秒观察。
• 只读 SQL 防御开关（防大促期间误操作）。

T+0 ~ T+30 分钟

• 监控命中率与 5xx，必要时：
• 降低开闸比例或开启等待室；
• 对热点接口开启临时 30s 微缓存；
• 触发二级回源池与对象网关兜底。

T+30 分钟 ~ T+2 小时

• 持续观测，逐步收敛限流，做增量预热（通过日志 TopN URL 反哺）。

12. 真实“坑位”与临场解法

坑 1：SKU 图片 URL 改了目录层级，预热命中暴跌

现象：活动前 10 分钟，命中率从 95% 掉到 89%。

原因：新模板把 /img/sku123/cover.avif 改成了 /assets/sku123/cover.avif。

解决：在 CDN 端下发重写规则（正则 301）+ 立即预热新路径；回源 Nginx 增加 try_files 兼容旧路径 1 小时。命中率 3 分钟内恢复 94%。

坑 2：conntrack 表爆满，部分请求超时

现象：内网日志 nf_conntrack: table full。

修复：net.nf_conntrack_max 从 2M 提到 8M，同时 HAProxy 降低 timeout client/server，快速回收。并在骨干交换机上打开 ECMP 分担流量。

坑 3：TLS CPU 打满

现象：回源池 CPU 飙升，均为加解密消耗。

修复：

HAProxy 开启 TLS Session Resumption 与 OCSP Stapling；

允许 h2 但限制 max-concurrent-streams，防止单连接滥用；

非关键静态资源改走 CDN HTTPS→回源 HTTP（内网），减少回源端 TLS 压力。

坑 4：强动态接口被误缓存

现象：用户反馈下单页出现他人地址。

修复：立刻在 CDN 侧对 /api/** 贴 no-store，回源清理 proxy_cache 相关位置；随后按“Shadow API”改造：把首屏“可公开的聚合数据”拆到 /api/public/home，设置短 TTL，并对带用户态的接口强制不缓存。

13. 复用的表格化策略清单

13.1 CDN 缓存/回源规则矩阵

13.2 回源机 sysctl 快速值

14. 观测与反哺：用日志驱动二次预热

活动 10 分钟后，我会把 CDN 访问日志中MISS 的 TopN URL拉出，立即进入 warm_urls.txt 增量预热。示例分析命令：

# 假设日志含 X-Cache 字段与 URL
grep 'X-Cache: MISS' cdn_access.log | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 500 > miss_top.txt

15. 成果与复盘

实战结果（某次 0 点大促）：

更多栏目

新闻动态 文档中心 下载中心

目录结构

全文

全天候品质服务

极速服务应答

客户价值为先

全方位安全保障

Copyright © 2020-2026 沧云网络.版权所有

服务热线：

023-88256559

电子邮箱：

mail@a5idc.com

商务QQ：

349378359

QQ咨询

微信咨询

服务指南

安全中心

实名认证

API管理

提交工单

服务条款

代理系统

合作伙伴

代理推广

推广明细

帮助中心

行业新闻

帮助中心

文件下载

关于我们

公司简介

联系我们

公司动态

荣誉资质

站点地图

IDC/ISP证号 B1-20210089 渝公网安备 50010702502561 渝ICP备17007481号-6号

在线咨询

A5IDC-空哥（24H） 客服咨询

A5IDC-小张 (下班） 客服咨询

A5IDC-小李 (下班） 客服咨询

提交工单

我们会第一时间处理您的需求

建议反馈

真诚期待您的宝贵意见

违法举报

"违法有害信息"举报专区

微信咨询