知识库检索与模型推理如何隔离部署?香港A100 80GB+960GB NVMe方案
上线后的目标状态应当是:公网只访问Nginx提供的HTTPS接口,业务API负责鉴权、知识库检索和请求编排,向量数据库不直接对外开放,A100 80GB只承担模型推理;文档导入、切分和索引构建通过独立任务执行。这样可以分别重启、限流和回滚检索与推理服务,避免一次批量入库拖慢所有在线问答。
香港A100 80GB+960GB NVMe可以先采用“单机分服务、分资源”的部署方式,但这不等于物理隔离:GPU进程、向量数据库和文件仍共享宿主机及磁盘故障域。需要独立维护、独立扩容或更强数据隔离时,应将知识库及检索API迁到另一台香港服务器,GPU节点只保留推理服务。下面按单机起步、后续可拆机的方式实施。
一、准备条件:确定服务边界和资源预算
1. 固定部署基线
本文示例使用Ubuntu 22.04 LTS、systemd、Nginx、Docker Engine与Docker Compose插件。推理服务采用支持OpenAI兼容接口的vLLM,向量数据库采用Qdrant。
开始前应满足以下条件:
- NVIDIA驱动及NVIDIA Container Toolkit已经安装,宿主机与容器均能识别GPU。
- 已准备兼容当前驱动的推理镜像,镜像使用已验证的版本标签,生产部署建议固定到镜像摘要。
- 模型文件已经完整下载,并核对模型配置、权重文件和使用许可。
- 已有可运行的业务API发布包,包括依赖环境、鉴权、检索逻辑、超时处理及健康检查。
- 域名已解析到香港服务器,能够完成证书签发;管理入口仅向指定运维来源开放。
- 已确认CPU、内存、NVMe实际可用空间,而不是只依据“A100 80GB+960GB NVMe”两个参数分配资源。
业务API示例约定模块为app.main:app,提供/healthz、/readyz和/api/chat。这些是应用需要实现的接口,不是安装数据库或推理框架后自动具备的能力。
执行基础核验:
lsb_release -ds
nvidia-smi
docker version
docker compose version
free -h
lsblk -o NAME,SIZE,FSTYPE,MOUNTPOINTS
df -hT / /srv
nvidia-smi正常只证明宿主机驱动可用,还应使用已验证的推理镜像,在容器内执行一次GPU识别检查。镜像版本、CUDA运行时和驱动兼容性必须分别核验,不能用宿主机检查替代容器检查。
2. 明确哪些服务可以使用GPU
推荐将在线请求路径固定为:
客户端
→ Nginx:TLS、连接限制、基础请求限流
→ 业务API:身份校验、查询向量化、检索、上下文拼装
→ Qdrant:向量检索及过滤
→ vLLM:生成答案
文档导入另走后台路径:

导入任务 → 文本解析 → 切分 → 批量向量化 → 新知识库集合 → 验证后切换
查询向量化可先使用CPU侧的小型嵌入模型,或独立嵌入服务。不要默认将嵌入模型和生成模型都放进同一块A100,否则批量入库也会参与显存和GPU计算竞争。
检索与推理隔离的核心,不是改成两个端口,而是分别控制生命周期、并发、资源上限和失败传播。 例如,推理服务过载时,业务API应在有限时间内返回可识别的错误,而不是无限等待并占满所有工作线程。
3. 给内存和磁盘留出可执行的边界
以下资源仅作为具有至少16个逻辑CPU、64GiB内存的主机起步示例,实际配置不足时应下调:
| 服务 | CPU上限示例 | 主机内存上限示例 | GPU使用 |
|---|---|---|---|
| 在线业务API及查询向量化 | 2个逻辑CPU | 4GiB | 无 |
| Qdrant | 2个逻辑CPU | 8GiB | 无 |
| vLLM | 8个逻辑CPU | 32GiB | 指定A100 |
| 导入任务 | 2个逻辑CPU | 4GiB | 默认无 |
| 系统、代理及余量 | 不全部分配 | 保留余量 | 无 |
CPU上限不是独占CPU;数据库内存上限也不能代替容量测试。较大的向量索引可能需要调整存储方式和内存预算。
960GB是磁盘标称容量。按十进制计算,960GB约为894GiB,分区、文件系统及已有文件还会减少实际可用空间。可按以下目录预算规划,但必须以df结果为准:
| 用途 | 示例预算,十进制GB | 管理方式 |
|---|---|---|
| 系统与基础软件 | 60 | 与业务数据分开统计 |
| 模型文件及必要的回滚版本 | 240 | 只读挂载,限制版本数量 |
| 向量库及持久化数据 | 180 | 监测增长及写入延迟 |
| 导入临时文件 | 80 | 配额、过期清理 |
| 日志 | 20 | 轮转及保留期限 |
| 本地快照暂存 | 120 | 上传异机后按策略清理 |
以上预算合计700GB,不代表剩余空间全部可用于业务。索引重建、数据库快照和模型更新都可能同时保留新旧副本,应根据这些操作的峰值占用预留空间。

例如,100万条1024维的float32向量,原始向量约占:
1,000,000 × 1,024 × 4字节
= 4,096,000,000字节
= 4.096GB
这还不包括索引、元数据、文本、持久化日志和快照,因此不能据此认定数据库只需约4GB空间。
普通目录没有容量隔离能力。需要硬限制时,应在交付阶段配置独立文件系统或文件系统配额;不要在已有业务盘上临时重新分区。
二、分步操作:把检索和推理部署为独立服务
1. 创建目录、服务账户和发布边界
以下操作适用于新部署。已有同名目录、服务或配置时,先备份,再对照修改;不要覆盖正在运行的环境。
sudo useradd --system --home /opt/rag --shell /usr/sbin/nologin rag
sudo mkdir -p \
/opt/rag/releases \
/srv/rag/models \
/srv/rag/qdrant \
/srv/rag/import \
/srv/rag/snapshots \
/var/cache/rag \
/var/lib/rag \
/etc/rag
sudo chown rag:rag /var/cache/rag /var/lib/rag
sudo chmod 750 /etc/rag
如果rag账户已存在,不再重复创建。权限变更只作用于API需要写入的目录,不对整个模型目录或数据库目录递归修改。
将业务API发布包放入/opt/rag/releases/<发布编号>,确认该版本虚拟环境可运行,再建立/opt/rag/current软链接。应用代码和虚拟环境由部署账户管理,运行账户原则上只读。
数据库目录的写入权限应按所选Qdrant镜像实际运行用户设置。先检查镜像及容器启动日志,不要用开放所有写权限的方式绕过错误。
2. 启动向量库和推理容器
建立仅管理员可读写的/etc/rag/runtime.env。示例中的镜像、密钥和模型路径必须替换:
QDRANT_IMAGE=填写已验证且固定版本的Qdrant镜像
INFER_IMAGE=填写已验证且固定版本的vLLM镜像
QDRANT_API_KEY=填写独立生成的长随机密钥
MODEL_DIR=/srv/rag/models/model-a
sudo chmod 600 /etc/rag/runtime.env
在/etc/rag/compose.yaml写入:
services:
vector:
image: ${QDRANT_IMAGE}
restart: unless-stopped
ports:
- "127.0.0.1:6333:6333"
environment:
QDRANT__SERVICE__API_KEY: ${QDRANT_API_KEY}
volumes:
- /srv/rag/qdrant:/qdrant/storage
cpus: 2.0
mem_limit: 8g
networks:
- vector_net
logging:
driver: json-file
options:
max-size: "100m"
max-file: "3"
inference:
image: ${INFER_IMAGE}
restart: unless-stopped
ports:
- "127.0.0.1:8000:8000"
volumes:
- ${MODEL_DIR}:/models/model-a:ro
command:
- "--model"
- "/models/model-a"
- "--served-model-name"
- "kb-model"
- "--host"
- "0.0.0.0"
- "--port"
- "8000"
- "--gpu-memory-utilization"
- "0.80"
- "--max-model-len"
- "4096"
- "--max-num-seqs"
- "8"
- "--disable-log-requests"
cpus: 8.0
mem_limit: 32g
shm_size: 8g
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids: ["0"]
capabilities: [gpu]
networks:
- inference_net
logging:
driver: json-file
options:
max-size: "100m"
max-file: "3"
networks:
vector_net:
inference_net:
两个容器使用不同网络,宿主机上的业务API通过本机端口访问它们。推理容器中的0.0.0.0是容器内监听地址,宿主机发布地址仍为127.0.0.1。
启动前,用对应镜像的--help确认推理参数受支持。不同版本的启动入口、参数和GPU资源声明支持情况可能不同,应以预发布验证结果为准。
sudo docker compose \
--env-file /etc/rag/runtime.env \
-f /etc/rag/compose.yaml config --quiet
sudo docker compose \
--env-file /etc/rag/runtime.env \
-f /etc/rag/compose.yaml up -d
--gpu-memory-utilization=0.80是推理框架的显存预算参数,不是操作系统级GPU配额,也不是“其他进程一定可用剩余20%”的保证。示例中的4096上下文和8个并发序列同样只是起步参数,要结合模型大小、KV缓存和请求长度验证。
容器的主机内存限制不包含显存限制。共享内存也会占用主机内存预算,不能把shm_size当成额外免费容量。
3. 用systemd守护业务API
建立/etc/rag/api.env,由root管理且权限为600:
QDRANT_URL=http://127.0.0.1:6333
QDRANT_API_KEY=填写与向量库一致的密钥
INFERENCE_BASE_URL=http://127.0.0.1:8000/v1
INFERENCE_MODEL=kb-model
EMBEDDING_DEVICE=cpu
变量名称应与应用实现一致。业务鉴权密钥也应通过受控环境文件或密钥管理系统提供,不写入代码仓库。
创建/etc/systemd/system/rag-api.service:
[Unit]
Description=Knowledge retrieval and inference API
Wants=network-online.target
After=network-online.target docker.service
StartLimitIntervalSec=60
StartLimitBurst=5
[Service]
User=rag
Group=rag
WorkingDirectory=/opt/rag/current
EnvironmentFile=/etc/rag/api.env
Environment=PYTHONUNBUFFERED=1
Environment=PYTHONDONTWRITEBYTECODE=1
Environment=XDG_CACHE_HOME=/var/cache/rag
ExecStart=/opt/rag/current/.venv/bin/uvicorn app.main:app --host 127.0.0.1 --port 8100 --workers 1
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
CPUQuota=200%
MemoryHigh=3G
MemoryMax=4G
TasksMax=256
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
ReadWritePaths=/var/cache/rag /var/lib/rag
[Install]
WantedBy=multi-user.target
sudo systemctl daemon-reload
sudo systemctl enable --now rag-api
sudo systemctl status rag-api --no-pager
这里使用一个API进程,避免多个进程重复加载CPU嵌入模型。并发应通过异步请求、队列及限流控制,不能直接靠增加进程数解决。
After=docker.service不代表数据库和模型已经就绪。API需要在/readyz中检查依赖,并设置检索超时、推理超时、最大排队长度和任务取消逻辑。
4. 配置Nginx与证书
公网只开放业务需要的HTTP、HTTPS入口;数据库6333、推理8000和API 8100不开放。管理端口单独设置来源限制。防火墙调整可能中断远程管理,应先备份规则,保留可用管理会话,并准备服务商控制台恢复方式。
证书签发前,先部署仅用于HTTP验证的站点:
server {
listen 80;
server_name kb.example.com;
location /.well-known/acme-challenge/ {
root /var/www/acme;
}
location / {
return 404;
}
}
将域名替换为实际域名,创建验证目录后检查配置并平滑加载:
sudo mkdir -p /var/www/acme
sudo nginx -t
sudo systemctl reload nginx
已安装Certbot且采用HTTP验证时,可执行:
sudo certbot certonly --webroot \
-w /var/www/acme \
-d kb.example.com
确认实际证书路径后,将站点改为HTTPS。limit_req_zone与limit_conn_zone放在Nginx的http上下文;Ubuntu常见布局中,被http包含的站点文件也可以承载这些定义。
limit_req_zone $binary_remote_addr zone=rag_rate:10m rate=5r/s;
limit_conn_zone $binary_remote_addr zone=rag_conn:10m;
server {
listen 80;
server_name kb.example.com;
location /.well-known/acme-challenge/ {
root /var/www/acme;
}
location / {
return 301 https://kb.example.com$request_uri;
}
}
server {
listen 443 ssl;
server_name kb.example.com;
ssl_certificate /etc/letsencrypt/live/kb.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/kb.example.com/privkey.pem;
ssl_protocols TLSv1.2 TLSv1.3;
client_max_body_size 2m;
location /api/ {
limit_req zone=rag_rate burst=10 nodelay;
limit_req_status 429;
limit_conn rag_conn 20;
proxy_pass http://127.0.0.1:8100;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_set_header X-Request-ID $request_id;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_connect_timeout 3s;
proxy_read_timeout 120s;
proxy_send_timeout 30s;
proxy_buffering off;
}
location / {
return 404;
}
}
修改前备份原站点配置,nginx -t通过后再reload;失败时恢复配置并重新检查,不直接重启正在承载请求的Nginx。
流式输出需要关闭代理缓冲。proxy_read_timeout限制的是两次读取之间的等待时间,不是整个请求的总时长,业务API仍须设置生成时限。按IP限流也不能替代按账户限流,多个用户可能共用出口IP。
证书上线后执行续期演练,确认成功续期能够触发Nginx reload:
sudo certbot renew --dry-run
5. 将导入、日志和备份移出在线链路
导入任务应是独立服务或调度任务,不能在API工作进程中执行大批量文档解析。先写入新集合,验证向量维度、嵌入模型版本和检索结果,再切换集合别名。
导入时限制CPU、内存、批大小和并发;即使CPU已经限额,持续写入NVMe仍可能影响在线检索。应同时观察数据库延迟和磁盘等待,必要时将导入安排到低负载时段。
日志至少记录请求ID、检索耗时、推理等待时间、生成耗时、状态码及错误分类。默认不记录完整提问、知识库正文、鉴权头或模型输入。Nginx日志由logrotate管理,容器日志已有大小限制,systemd日志则应设置适合本机的保留策略。修改全局journald配置会影响其他系统服务,需单独评估。
本地快照只能用于快速回退,不能替代异机备份。 备份对象包括:
- 向量库快照、集合别名及集合参数。
- 原始文档、切分规则、嵌入模型版本及必要元数据。
- 业务API发布包、依赖锁定文件、Compose与Nginx配置。
- 密钥和证书的受控备份,或明确的重新签发流程。
使用Qdrant支持的快照接口生成集合快照,再下载并上传到独立存储;不要直接复制正在写入的数据库目录。模型若可重新获取,可保存版本和校验信息;无法重新获取时应另行备份。
三、结果验证:证明服务既能协同,也能独立维护
1. 按从内到外的顺序验证
先检查容器与本机接口:
sudo docker compose \
--env-file /etc/rag/runtime.env \
-f /etc/rag/compose.yaml ps
curl --fail --max-time 5 http://127.0.0.1:8000/v1/models
curl --fail --max-time 5 http://127.0.0.1:8100/healthz
curl --fail --max-time 5 http://127.0.0.1:8100/readyz
sudo ss -lntp
再检查Qdrant鉴权、目标集合及向量维度。数据库接口必须携带受控密钥,不将密钥直接写入公开文档或工单。
随后从外部主机验证:
- HTTPS证书链、域名及有效期正确。
- 未登录请求被业务API拒绝,正常账户能够完成问答。
- 6333、8000、8100不能从公网及未授权内网来源访问。
- 流式答案持续输出,而不是等待结束后一次性返回。
- 超出限额时返回可识别错误,不形成无限排队。
仅检查ss并不足以证明容器端口的外部隔离。还要结合云侧访问控制及宿主机实际规则,从外部进行验证。
2. 验证知识库与模型的对应关系
用一组已知答案、无答案、长上下文和权限受限问题进行验收。重点检查:
- 查询与入库使用相同的嵌入模型及维度。
- 检索结果包含正确文档标识,权限过滤在检索阶段生效。
- 无相关材料时不会把模型自由生成伪装成知识库事实。
- 输入上下文与预留输出长度之和不超过模型限制。
- 取消请求后,API能够释放等待资源并尝试取消上游任务。
检索耗时、推理首字时间和总生成时间应分开记录。只统计整个接口耗时,无法判断瓶颈来自向量库、排队还是GPU生成。
3. 在预发布环境演练独立故障
维护窗口内分别停止推理容器和数据库容器,检查API是否在设定超时内返回明确错误,再恢复服务。停推理会影响所有需要生成的请求,停数据库会影响检索请求,演练前应停止引入新的业务流量。
同时运行在线问答与受限导入任务,观察GPU显存、容器内存、队列长度、磁盘写入和检索延迟。达到资源上限时,应看到限流或受控失败,而不是宿主机整体失去响应。
四、失败处理:先检查入口,再检查依赖和资源
1. HTTPS不可用或出现502、504
先检查域名解析、证书与Nginx配置,再检查API监听及就绪状态:
sudo nginx -t
sudo systemctl status rag-api --no-pager
sudo journalctl -u rag-api --since "-10 minutes" --no-pager
curl --fail --max-time 5 http://127.0.0.1:8100/readyz
- 本机API正常、外部失败:优先检查入口、证书和访问控制。
- API未监听:检查启动路径、依赖、文件权限和环境变量。
- API健康但未就绪:检查数据库及推理服务。
- 只有长请求出现504:检查排队、生成长度和上游超时,不要直接无限延长代理超时。
2. 模型加载失败或显存不足
先看推理容器日志和nvidia-smi,区分权重加载失败、模型不兼容、已有GPU进程占用和请求阶段KV缓存不足。
显存不足时,先降低并发序列数、上下文长度及输出长度;如果模型权重本身无法装入,再评估受支持的量化方案或更小模型。不要一味提高显存利用比例,更不要执行GPU重置或直接终止不明进程,这会影响同卡所有任务。

3. 检索变慢、导入失败或磁盘接近满载
先暂停导入和快照任务,再检查磁盘空间、inode、目录占用及数据库日志。导入暂停通常不会破坏已发布知识库,但应保存任务进度和重试位置。
需要释放空间时,优先处理可重新生成的临时文件,以及已经完成异机备份的过期快照。清理前列出文件、核对保留策略和恢复路径,不直接删除数据库目录。
若数据库因内存限制被终止,先核对索引规模与内存配置,不把“自动重启成功”当成问题解决。反复重启会增加恢复压力,并使接口持续不稳定。
五、回滚:分别恢复应用、知识库和模型
1. 应用回滚
保留上一版发布包和对应配置。回滚前排空请求,将/opt/rag/current切回已验证版本,重启rag-api,依次验证健康检查、依赖检查和真实问答。
重启会中断现有连接,应在维护窗口执行。存在数据库结构或元数据格式变更时,先确认旧版应用可读取新数据;不能只回退代码。
2. 知识库回滚
保留上一集合时,优先将别名切回旧集合。此操作会改变后续请求看到的知识库版本,应记录切换时间及关联任务。
若必须恢复快照,先恢复到新集合并验证,不直接覆盖唯一生产副本。回滚丢失的增量数据应从导入记录重放,并说明恢复点对应的时间范围。
3. 模型回滚
恢复旧模型目录、镜像摘要和推理参数,仅重建推理容器,不删除数据库或其他服务的数据卷。操作前保存现有配置,排空生成请求;操作后核验模型名称、上下文限制、输出格式和业务API兼容性。
模型回滚不要求数据库回滚,但更换嵌入模型通常要求重建向量集合。两者必须作为不同变更管理。
围绕知识库检索与模型推理的分离部署,A5数据提供香港A100 80GB GPU服务器,以及搭配大内存、NVMe存储的Xeon Gold和AMD EPYC服务器资源。GPU节点可承载模型推理,通用计算节点可承载向量数据库、业务API与文档导入任务,为检索和推理分别扩展资源提供硬件基础;香港大容量存储系列还可用于知识库文件、快照与历史版本归档,形成计算与数据存储分工的部署组合。
4. 何时进一步拆成两台香港服务器
出现以下情况时,优先把向量库、原始文档和导入任务迁出GPU节点:
- 导入或索引重建持续影响推理节点的CPU、内存和磁盘延迟。
- 知识库需要独立容量扩展、备份窗口或权限边界。
- GPU节点升级不能同时中断检索服务。
- 数据要求独立主机或更强的故障隔离。
迁移后使用受控私网连接,并分别验证链路时延、访问控制和断连行为。同在香港不代表必然同机房、私网互通或固定低延迟,这些条件需要实际核验。
单机方案降低了部署复杂度,但没有高可用能力;双机拆分减少资源和维护耦合,也不自动构成高可用。是否增加副本,应另行依据允许停机时间和恢复目标决定。

上线验收检查清单
- [ ] 已记录CPU、内存、GPU及NVMe实际可用容量。
- [ ] 镜像版本、模型版本、依赖文件和配置均可追溯。
- [ ] 公网仅开放必要入口,数据库和推理端口不可被未授权访问。
- [ ] API鉴权、知识库权限过滤和账户级限流已经生效。
- [ ] 证书续期演练成功,续期后的Nginx加载方式已验证。
- [ ] 检索、推理、API与导入任务具有独立生命周期和资源边界。
- [ ] GPU预算、主机内存和磁盘峰值均经过代表性负载验证。
- [ ] 日志不泄露密钥、提问正文及知识库敏感内容,并配置保留策略。
- [ ] 异机备份完成恢复演练,旧应用、旧模型及旧集合可用于回滚。
- [ ] 推理停止、数据库停止、磁盘逼近阈值时,系统能够受控失败。
- [ ] 已明确单机故障影响范围、迁移触发条件和维护窗口。
满足这些条件后,香港A100 80GB+960GB NVMe才能形成可维护的知识库问答部署:检索负责找到正确材料,GPU负责生成答案,运维则能分别限制资源、定位故障和恢复服务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3050.html



