RAG知识库部署在香港服务器上,向量检索与生成服务要如何分工?

发布人:A5数据发布时间:2026-10-30 11:45阅读量:79

把RAG知识库放在香港服务器上,真正需要先决定的不是“向量数据库和大模型是否安装在同一台机器”,而是在线请求中哪些环节需要低延迟、哪些环节会消耗大量计算资源,以及检索到的知识是否允许跨服务器或跨服务传递。

通常更合理的分工是:应用服务负责鉴权、租户隔离、查询编排和提示词组装;向量检索服务负责召回相关内容;生成服务负责根据问题和检索结果输出答案。三者可以先部署在同一节点上,但职责应当从逻辑上分开,后续再根据并发、数据边界和资源争用情况决定是否拆成多台香港服务器或独立服务。

业务链路决定拆分边界

RAG实际包含两条不同链路

RAG知识库不是单一的“问答程序”,而是由离线入库链路和在线问答链路组成。

业务链路决定拆分边界配图

离线链路负责把原始资料转换成可检索的知识:

文件、网页或业务数据
        ↓
解析与清洗
        ↓
切分文本
        ↓
生成向量
        ↓
写入向量索引和元数据

在线链路则负责处理一次用户提问:

用户请求
    ↓
Web/API接入
    ↓
鉴权与权限判断
    ↓
问题向量化
    ↓
向量检索
    ↓
元数据过滤或重排
    ↓
组装提示词
    ↓
生成服务
    ↓
流式返回答案与引用

这两条链路的资源特征不同。文档入库往往是批量任务,对吞吐、队列和存储读写更敏感;在线问答更关注首字延迟、并发连接数和生成速度。如果把它们放在同一进程或同一资源池中,批量重建索引可能影响正常问答。

香港服务器只代表其中一个部署位置

将应用、向量库和本地模型都部署在香港,并不等于所有数据都始终留在香港。只要生成服务使用外部模型接口,检索出的片段、用户问题和提示词就可能离开香港服务器。

因此,部署前应先确认三个位置:

香港服务器只代表其中一个部署位置配图

  • 用户请求从哪里进入,用户与香港服务器之间的网络延迟如何;
  • 向量索引、原始文档和元数据保存在哪里;
  • 生成模型实际运行在哪里,提示词和检索片段是否会发送到外部服务。

如果业务要求资料不离开指定网络范围,生成服务应使用本地模型或部署在受控网络中的推理节点。如果可以接受外部模型,则需要单独确认服务商的数据保存、日志、训练使用和区域处理政策,不能仅以“服务器在香港”作为数据边界判断。

相关组件分别承担什么

应用服务负责业务编排

应用服务是RAG链路的控制中心,通常包括API、会话管理和权限逻辑。它不应把所有功能都塞进向量数据库或生成服务中,主要职责包括:

  • 验证用户身份、租户和文档访问权限;
  • 对问题进行标准化,必要时进行查询改写;
  • 调用问题向量化服务和向量检索服务;
  • 根据权限、标签、时间范围等条件过滤结果;
  • 将检索片段、引用信息和回答要求组装成提示词;
  • 调用生成服务并向前端返回流式结果;
  • 记录请求耗时、索引版本和模型版本。

应用服务通常是无状态的,适合通过多实例扩展。但会话状态、任务状态和权限数据不能只保存在单个进程内,否则在多节点部署后容易出现请求漂移或状态丢失。

向量化服务负责统一语义表示

文档入库时,切分后的文本需要经过Embedding模型生成向量;用户提问时,也必须使用兼容的模型生成查询向量。

向量化服务有两类负载:

  • 离线向量化:一次处理大量文档,适合批量执行,追求吞吐;
  • 在线向量化:每个请求只处理一个或少量问题,关注响应延迟。

两者可以共用模型,但不一定要共用资源池。批量导入期间,如果离线任务占满CPU、GPU或显存,在线问题向量化会出现排队。

Embedding模型、分词方式、文本切分策略发生变化时,原有向量索引通常不能直接与新向量混用。因此需要记录:

  • Embedding模型名称和版本;
  • 文档切分规则;
  • 向量维度;
  • 索引构建时间;
  • 对应的知识库或租户版本。

向量检索服务负责召回,不负责生成答案

向量数据库或检索服务的输出应当是结构化的候选内容,而不是最终回答。一个合格的检索结果通常包括:

  • 文档ID或片段ID;
  • 片段文本或可读取的内容地址;
  • 相似度分数;
  • 文档标题、来源和更新时间;
  • 租户、部门、权限标签;
  • 知识库版本或索引版本。

向量检索主要消耗内存、CPU和高速磁盘读写。索引越大,内存压力越明显;如果每次检索还要读取大量原文,存储延迟也会影响整体响应。

向量检索服务不应直接决定用户最终看到的答案。权限过滤、结果数量、引用格式和回答风格应由应用服务控制,避免不同入口对同一个知识库产生不一致的业务规则。

重排服务用于提高候选内容的相关性

向量检索适合快速召回候选片段,但候选结果的排序未必完全符合问题语义。需要更高准确度时,可以在向量检索之后加入重排模型:

向量检索 Top-K
        ↓
重排模型重新评分
        ↓
保留少量高相关片段
        ↓
交给生成服务

重排模型通常比简单向量相似度更消耗CPU或GPU,也会增加一次网络或推理等待。知识库规模较小、问题模式稳定时,可以先不独立部署重排服务;当召回结果数量较多、文档相似度高或回答经常引用错误内容时,再考虑将其独立出来。

生成服务负责推理和输出

生成服务接收应用服务组装好的提示词、检索片段和输出要求,主要负责:

  • 加载语言模型;
  • 管理模型显存或内存;
  • 处理并发推理;
  • 输出首个Token和后续流式内容;
  • 执行上下文长度、停止词和输出格式控制。

生成服务的资源特征与向量检索明显不同。它更依赖GPU计算能力、显存容量、上下文长度和并发控制。即使向量库查询只需要几十毫秒,生成阶段仍可能因为模型推理或排队占用大部分请求时间。

如果使用外部模型接口,香港服务器上的“生成服务”可以只是一个适配层,负责统一鉴权、超时、重试、流式协议和模型路由,而不是实际运行模型。此时应重点评估香港服务器到模型服务端点的网络延迟、出站数据边界和接口限流。

原始文档、元数据和向量索引不要混为一谈

向量索引适合相似度检索,但不应成为唯一的知识源。建议至少区分三类数据:

数据类型主要用途适合保存的位置
原始文档重新切分、审计、下载和恢复对象存储或文件存储
文档元数据权限、标题、标签、版本和更新时间关系数据库或文档数据库
向量索引快速相似度检索向量数据库或向量索引服务

这样做的好处是,索引损坏或Embedding模型更换时,可以从原始文档和元数据重新构建,而不必把向量库当成唯一数据源。

组件之间如何协作

离线入库要与在线问答解耦

文档上传后,可以先写入原始存储和元数据数据库,再通过队列投递解析、切分和向量化任务。队列的作用是削峰和记录处理状态,而不是参与每一次在线检索。

较清晰的关系如下:

上传接口
  ├─ 写入原始文档
  ├─ 写入文档状态和权限元数据
  └─ 投递入库任务
             ↓
       解析与文本切分
             ↓
       Embedding批处理
             ↓
       写入新向量索引
             ↓
       更新索引版本

如果文档较少、更新频率低,可以暂时不单独部署消息队列,由后台任务直接处理。但需要保留任务状态和失败记录,否则批量处理被中断后,很难判断哪些文档已经完成。

在线问答应由应用服务串起

一次在线请求的推荐职责分工如下:

  1. 接入层验证身份、限流,并将请求交给应用服务。
  2. 应用服务根据租户和权限生成检索条件。
  3. Embedding服务将用户问题转换为查询向量。
  4. 向量检索服务返回候选片段及其元数据。
  5. 应用服务再次检查权限,并按需要调用重排服务。
  6. 应用服务只选取允许使用的片段,组装提示词和引用信息。
  7. 生成服务根据输入输出答案。
  8. 应用服务将答案、引用和会话状态返回给客户端。

生成服务不建议直接访问向量数据库。这样可以减少服务之间的隐式依赖,也便于限制生成服务能看到的数据范围。将检索结果以标准结构传给生成服务后,未来更换本地模型、外部模型或模型版本时,应用层不需要重写检索逻辑。

网络开销要按“上下文大小”估算

拆分服务后,服务器之间需要传递查询向量、检索结果和提示词。向量本身通常不是主要流量来源,真正容易增大的部分是返回的文本片段和最终提示词。

例如,一次请求返回8个片段,每个片段约2 KB,100次请求每秒时,仅检索片段的理论传输量为:

8 × 2 KB × 100 次/秒 = 1600 KB/秒
1600 KB/秒 × 8 = 12800 Kb/秒 ≈ 12.8 Mbps

这是未计算协议开销、重复字段和生成输出的估算值。实际部署中还要考虑峰值并发、流式返回、重试以及同一节点上的其他流量。对于普通规模的内网部署,这类流量通常可控;但如果把生成服务、检索服务和原始文档存储放在不同网络区域,延迟和数据传输成本会明显增加。

同机、分机与多节点如何选择

向量检索和生成服务同机

同机部署适合验证阶段、内部使用或访问量较小的知识库。应用服务、Embedding、向量索引和生成服务可以在同一台香港服务器上运行,但应使用独立进程或容器,并限制各自的CPU、内存和GPU资源。

这种方式的优点是:

  • 服务之间网络延迟低;
  • 部署结构简单;
  • 不需要维护多台服务器之间的内部网络;
  • 调试和版本管理较容易;
  • 小规模请求下资源利用率较高。

主要风险在于资源争用。生成模型可能占用大部分显存和内存,批量Embedding可能持续消耗CPU,向量索引则需要稳定的内存和磁盘访问。一旦生成并发上升,检索查询的延迟可能随之增加。

同机部署不能简单理解为“所有组件共享资源”。至少需要进行进程隔离、资源上限、日志限额和任务优先级控制。离线入库任务应避免在在线高峰期无限制运行。

围绕RAG中检索与生成的资源差异,A5idc数据提供香港Xeon Gold、AMD EPYC等物理服务器,配备SSD或NVMe存储,可承载应用编排、向量检索及相关数据服务;香港GPU服务器则提供A100 80GB、RTX 4090等显卡选项,并有CN2线路配置,为模型推理与检索服务分机部署提供不同的硬件资源基础。

向量检索与生成服务分机

当生成模型使用GPU,而向量检索主要使用CPU、内存和SSD时,分机通常是更自然的架构:

同机、分机与多节点如何选择配图

香港接入层
    ↓
应用编排节点
    ├── 检索节点:Embedding、向量库、重排
    └── 生成节点:本地模型推理或模型适配器

拆分后可以分别扩容:

  • 检索延迟升高时,增加检索节点或扩充内存;
  • 生成排队变长时,增加推理节点或调整并发;
  • 批量入库过慢时,增加离线Embedding资源;
  • 更换生成模型时,不必迁移整个向量库。

但分机也带来新的要求。应用服务与检索、生成服务之间应使用内网访问和服务鉴权,不能因为处于同一机房就默认可信。检索片段、提示词和答案可能包含敏感信息,内部传输也应根据数据等级采用加密和访问控制。

单节点与多节点

单节点适合业务规模尚未稳定的阶段,但它的故障影响范围较大。即使应用服务采用多个进程,只要向量库、原始文档和模型都在同一台服务器上,主机故障仍可能使整条链路不可用。

多节点部署通常按以下方式拆分:

节点或服务扩展方式主要关注点
应用服务无状态多实例负载均衡、会话和权限状态
向量检索副本或分片索引一致性、内存和磁盘
生成服务多推理实例显存、并发、首字延迟
Embedding服务批处理与在线分离模型版本、任务队列
原始文档存储副本或备份恢复能力、版本管理
任务队列高可用或持久化积压、重复消费、失败重试

多节点并不一定意味着每个组件都要立即做集群。向量数据库的副本、分片和一致性会增加运维复杂度;生成服务的多实例还需要考虑模型加载时间和显存成本。只有当可用性、并发或隔离需求明确存在时,才值得引入对应的集群机制。

组件独立部署的取舍

可以按资源和故障边界逐步拆分,而不是一次性拆成大量微服务。

部署结构适用条件主要收益需要接受的代价
全部同机、逻辑分进程小规模、低并发、模型较轻成本和维护压力较低资源争用,主机故障影响大
应用与模型分机本地生成模型占用GPU生成与检索独立扩容内部调用和数据传输增加
检索、生成、入库分离在线与离线负载差异明显互不干扰,便于限流版本和监控对象增多
应用多节点、数据服务独立需要滚动发布或较高可用性应用故障影响范围较小需要处理状态、负载均衡和服务发现
向量库集群、模型多实例并发或索引规模较大支持横向扩展索引同步、显存和运维复杂度上升

一个常见的演进顺序是:先在单节点上完成应用、检索和生成的逻辑分层;当生成资源成为瓶颈时,将生成服务迁移到独立节点;当离线入库影响在线请求时,再拆分Embedding和任务队列;只有在节点故障、索引规模或并发需求明确时,才继续建设多节点集群。

部署时需要重点验证的运行条件

不要只看磁盘容量

RAG知识库的容量评估至少要分别看四项:

  • 原始文档占用的存储空间;
  • 向量索引和元数据占用的内存、磁盘空间;
  • Embedding批处理需要的CPU、GPU和临时空间;
  • 生成模型及其上下文所需的显存或内存。

原始文档只有几GB,并不代表向量服务只需要几GB内存。索引结构、元数据、缓存和副本都可能增加实际占用。生成服务也不能只按模型文件大小估算,还要把上下文长度、KV缓存和并发请求纳入容量判断。

为每个阶段设置独立的超时

整条请求链路应拆成多个可观测阶段:

部署时需要重点验证的运行条件配图

接入排队
+ 问题向量化
+ 向量检索
+ 重排
+ 提示词组装
+ 等待生成
+ 生成输出

如果只有一个总超时,无法判断是检索慢、模型排队,还是外部模型接口延迟。应用服务应为检索、重排和生成分别设置超时与降级策略。例如,重排超时可以退回初步召回结果;生成服务不可用时,可以返回检索到的文档标题和引用状态,但是否允许这种降级取决于业务要求。

维护索引和模型版本

Embedding模型变化后,旧向量与新向量可能不在同一语义空间。切分规则、向量维度或索引参数变化,也可能要求重建索引。

较稳妥的方式是:

  • 用新版本索引在独立位置构建;
  • 记录新索引对应的Embedding模型和切分规则;
  • 通过版本标识让应用服务切换到新索引;
  • 验证检索质量和权限过滤后,再下线旧索引;
  • 保留旧版本,便于出现质量下降时回退。

索引切换不应直接覆盖唯一副本。原始文档、元数据、任务状态和向量索引都应制定对应的备份或重建方案。

权限过滤必须发生在生成之前

RAG最容易被忽略的风险不是“检索不到”,而是把无权限片段送进了提示词。权限条件应在检索阶段尽早参与,并在应用服务拿到结果后再次校验。

至少需要明确:

  • 权限标签保存在哪里;
  • 向量检索是否支持按租户、部门或文档标签过滤;
  • 文档更新或权限变更后,索引元数据多久同步;
  • 生成服务和日志系统是否会保存检索片段;
  • 引用链接是否会绕过原有文档权限。

生成模型只应接收本次请求允许使用的上下文,不能依赖模型自行判断哪些内容可以公开。

监控要覆盖组件和链路

不能只监控香港服务器的CPU和内存,还应分别记录:

  • 应用请求量、错误率和并发连接数;
  • 问题向量化耗时;
  • 向量检索的P50、P95延迟和返回数量;
  • 重排调用耗时及超时次数;
  • 生成服务排队时间、首字延迟和输出速度;
  • GPU显存、模型加载状态和推理队列;
  • 入库任务积压量、失败量和索引更新时间;
  • 外部模型接口的网络错误、限流和响应时间。

验收时可以将“仅检索”“仅生成”和“完整RAG链路”分开测试。只有完整链路变慢,说明需要检查服务间传输、提示词长度或编排逻辑;如果仅生成变慢,优先看模型节点资源;如果仅检索变慢,则应检查索引内存、磁盘和过滤条件。

下一步判断应围绕三组数据展开

对于部署在香港服务器上的RAG知识库,先记录在线请求量、峰值并发、知识库规模、文档更新频率和生成模型位置,再决定是否拆分。低并发、资料规模有限且使用轻量模型时,可以选择同机部署,但必须做好进程隔离和备份;生成模型占用独立GPU、在线与离线负载差异明显,或需要分别扩容时,应优先将生成服务与向量检索服务分开。

最终需要验证的不是“组件是否都安装在香港”,而是三件事:检索结果是否能在目标延迟内返回,生成服务是否会被索引或入库任务拖慢,以及问题和知识片段是否经过了可接受的数据边界。围绕这三项验证部署结构,通常比一开始追求完整的多节点架构更稳妥。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6589.html

相关推荐