过去一年，我带领团队将跨境电商平台的主站迁移到了香港高可用架构 + 全球多区域 CDN上，借助 BGP Anycast、智能调度，显著提升了全球用户的访问速度。

但就在我们以为一切都稳了的时候，用户反馈又来了——

• “页面秒开了，但推荐内容完全不相关。”
• “视频质量不好看，点进来秒退。”
• “东南亚用户首页商品重复太多。”

这让我意识到：速度只是基础，智能才是关键。

于是，我启动了一个新项目：把 AI 算力和感知能力下沉到全球的边缘 POP 节点，真正做到“内容 + 用户感知”的分发策略优化。这篇文章会完整分享我在实战中如何将：

• 推荐模型（Item/Category Embedding）
• 用户画像（地域 + 行为 + 热点建模）
• 视频质量感知（No-Ref VQA）

这些能力，嵌入到边缘节点，实现边缘智能决策 + 内容分发的一整套系统。

一、从传统 CDN 到“边缘 AI 分发”的架构演进

1. 传统 CDN 流程（静态加速）

用户请求 → 最近 POP 缓存命中 → 回源（如MISS） → 响应

优势：访问快、延迟低。

缺陷：所有内容分发逻辑均在中心处理，不感知用户本地行为。

2. 我们构建的新架构：边缘感知分发

用户请求 → POP 节点判断用户画像 + 内容特征 →
边缘推荐内容（或优质资源） → 命中/自选回源 → 响应

关键变化：

• 请求先过边缘 AI 模块，按用户画像和地域策略，生成推荐结果；
• 内容质量由 POP 边缘模型提前评估，低质内容不主动推送；
• 用户端行为直接写入边缘存储，用于快速行为建模和热度缓存。

二、边缘 POP AI 模块的部署选型与节点实况

1. POP 节点部署概况

我们在以下地点部署了边缘 AI 能力节点：

其中，大多数节点不具备 GPU 能力，因此我选型时以 轻量模型 + 快速推理 + WASM 支持 为前提。

三、边缘推荐系统模块设计与部署

1. 模型结构选择：Embedding + 轻量排序

在中心训练阶段，我们使用的是类似 YouTube DNN 架构的二塔模型：

• 左塔：用户行为 + 地域编码 + 终端类型；
• 右塔：商品/内容 Embedding 向量；
• 输出：Top-N 候选集合，打分排序；

将训练完成的 Embedding Lookup 表 下发到每个边缘节点。

2. 边缘推理逻辑（Cloudflare Worker 示例）

addEventListener('fetch', event => {
  event.respondWith(handleRequest(event.request))
})

async function handleRequest(request) {
  const region = request.headers.get('cf-ipcountry')
  const userKey = request.headers.get('cookie') || generateAnonID()

  const userEmbedding = await KV.get(`user-embed-${userKey}`) || defaultVec
  const candidateItems = await R2.get(`popular-${region}`)

  const scoredItems = candidateItems.map(item => ({
    id: item.id,
    score: cosineSim(userEmbedding, item.embedding)
  }))

  const topK = scoredItems.sort((a, b) => b.score - a.score).slice(0, 6)
  return new Response(JSON.stringify(topK), { headers: { 'Content-Type': 'application/json' } })
}

3. 用户画像的边缘维护方式

匿名用户：按 IP、地理位置、终端类型建立匿名画像；

已登录用户：在边缘节点 KV 存储简化画像数据（行为标签 + 最近兴趣）；

更新频率：每 6 小时同步中心画像数据到边缘 R2 / Redis。

四、将视频质量感知模型部署在边缘

视频超分处理放在中心做 GPU 推理没问题，但我们希望 POP 节点具备以下能力：

• 感知当前内容是否值得推送
• 能动态判断内容是否清晰、稳定、适合首页展示
• 能打标签反馈回中心做 AI 训练闭环

1. 使用 VIDEVAL 模型进行边缘推理（改写为 ONNX）

模型体积小（20MB以内）

支持 No-Ref 推理（无参考源）

转为 ONNX 后可在 wasm runtime / edge container 内执行

2. 推理流程（边缘 Node.js 容器内）

const ort = require('onnxruntime-node')

const session = await ort.InferenceSession.create('./videval.onnx')
const frameTensor = getFramesFromVideo(req.body.video)

const result = await session.run({ input: frameTensor })
const qualityScore = result.output.data[0]

3. 应用策略

• 若评分 < 阈值（如 1.5） → 不推首页；
• 若评分偏低但内容热门 → 自动触发中心请求 AI 增强 + 再分发；
• 结果写入边缘日志，供后续训练。

五、边缘内容热度建模 + 自适应缓存控制

我们还在边缘实现了简化的热度模型，结合用户浏览、点击、停留时间等信号，动态控制：

• 热门商品自动拉入边缘缓存池；
• 非活跃内容延迟回源或降低 CDN TTL；
• 同类内容聚合展示 + 多版本评估（A/B）；

使用 Redis Sorted Set 作为本地热度计数器，自动过期 +滑窗统计：

ZINCRBY region_hot_items 1 item_id_1234
EXPIRE region_hot_items 3600

每小时清理旧数据、统计 topN，并推送到边缘 worker 的推荐逻辑中。

六、遇到的挑战与优化

问题 1：边缘节点资源有限，模型推理太慢

解决方案：

• 所有模型都转为 ONNX + TensorRT 推理；
• Node 模块重写为原生 WASM 插件；
• 对低频用户使用默认向量推理，不重复执行模型加载；
• 热门商品向量预算分发至各 POP 节点本地缓存；

问题 2：用户画像同步成本高，边缘不一致

解决方案：

• 画像数据做离线聚合 + 低频写入 R2 或 Redis；
• 所有实时行为在边缘日志中埋点，再定时回传中心做训练；
• 对匿名用户使用基于地域、设备类型的聚类分桶建模；

问题 3：如何统一调度模型更新、参数下发？

解决方案：

• 自研边缘控制器：使用 Webhook + Redis 发布订阅；
• 所有 POP 节点通过中心配置仓定时拉取模型/参数；
• 用版本号 + 快照机制防止因热更新造成异常；

七、成效与指标变化

上线边缘 AI 分发系统一个月后，我们对比了平台关键指标：

指标	升级前	升级后	变化
首屏点击率（印度）	7.3%	13.2%	↑ +80.8%
视频二次播放率（东南亚）	21.5%	38.4%	↑ +78.6%
用户停留时长（中东）	1.9 分钟	3.6 分钟	↑ +89.5%
POP 节点缓存命中率	62%	93%	↑ +31%
源站负载（整体带宽）	950 Mbps	290 Mbps	↓ -69.5%

八、把 AI 算力带到边缘，是跨境平台下一阶段的必经之路

这次边缘智能分发网络的实践让我认识到一个事实：

• 不是用户离我们太远，而是我们离用户的“内容理解”还不够近。

未来的内容分发平台一定会向以下方向发展：

• 内容不止加速，而是理解用户再分发；
• 推荐不止在中心，而是边缘就做判断；
• 用户行为不止收集，而是边缘就建模反馈；