Linux服务器如何部署Ollama并验证模型服务?需要先准备哪些运行条件
在 Linux 服务器上部署 Ollama,首次验收的目标应当明确为三件事:命令可执行、服务进程能稳定监听本机端口、指定模型可以通过 HTTP API 返回结果。适用环境通常是使用 systemd 的 64 位 Linux 发行版,例如 Ubuntu、Debian、Rocky Linux 或 AlmaLinux;如果服务器没有 systemd,也可以手动运行服务,但开机自启和故障恢复需要另外配置。

部署前需要准备 sudo 或 root 权限、可用的本地磁盘、足够的内存,以及下载模型所需的 HTTPS 出网和 DNS。GPU 不是运行 Ollama 的必需条件,没有 NVIDIA GPU 时可以使用 CPU 推理,但模型越大、上下文越长,响应时间和内存占用通常越高。以下命令和结果均为示例,实际版本、模型大小和输出内容会随服务器环境变化。
A5idc数据为Ollama模型服务提供多地区物理服务器资源,覆盖中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等节点,配置包含AMD EPYC、Xeon Gold、大内存与NVMe存储,可承载模型文件、API服务及多任务运行。针对AI推理和模型测试,还提供搭载A100 80GB、RTX 4090等显卡的GPU服务器,并配套不同带宽与线路方案,满足本地化访问和跨区域部署需求。
一、部署前确认运行条件
1. 确认系统、架构和 systemd
先确认发行版、CPU 架构和服务管理方式:
cat /etc/os-release
uname -m
command -v systemctl
systemctl --version | head -n 1
常见的可用结果类似:
NAME="Ubuntu"
VERSION="24.04 LTS ..."
x86_64
/usr/bin/systemctl
systemd 255 ...
需要重点关注以下条件:
uname -m为x86_64或发行版和 Ollama 安装包明确支持的 64 位架构。systemctl可用,后续可以使用ollama.service管理进程。- 当前账号可以执行
sudo。 - 系统的软件包管理器和基础工具正常。
如果服务器是 ARM、容器内部环境或非 systemd 系统,不要直接套用 systemd 命令,应先确认对应安装包和启动方式是否匹配。
2. 确认基础工具和出网能力
安装程序通常需要 curl,下载模型时还需要解析域名并建立 HTTPS 连接:
command -v curl
curl --connect-timeout 10 --max-time 20 -fsSI https://ollama.com | head
只要能返回 HTTP 响应头,通常说明 DNS 和 HTTPS 出网链路基本可用。若提示 Could not resolve host,优先检查 DNS;若提示连接超时或被拒绝,检查安全组、出口策略和企业网络限制。
如果系统没有 curl,可按发行版补充:
# Debian/Ubuntu
sudo apt-get update
sudo apt-get install -y curl ca-certificates
# RHEL/Rocky/AlmaLinux
sudo dnf install -y curl ca-certificates
3. 评估内存、磁盘和 GPU
先查看内存、磁盘和 CPU:
free -h
df -h /
lscpu | egrep 'Architecture|CPU\(s\)|Model name'
模型文件、运行时缓存和上下文数据都会占用空间。以下是常见量级,仅用于首次规划,不能替代具体模型标签的实际下载大小:
| 模型规模示例 | 量化模型文件常见量级 | 建议可用内存 | 首次验证建议 |
|---|---|---|---|
| 3B 左右 | 约 2~3 GB | 8 GB 以上 | 适合 CPU 或小型 GPU |
| 7B~8B 左右 | 约 4~6 GB | 16 GB 以上 | 需要关注并发和上下文长度 |
| 13B~14B 左右 | 约 9~12 GB | 24~32 GB | 更适合有 GPU 或较大内存的服务器 |
磁盘至少要为模型文件预留约 20%~30% 的额外空间,用于临时文件、多个模型和运行缓存。例如一个约 5 GB 的模型,不建议只准备 5 GB 可用空间。
如果使用 NVIDIA GPU,先确认驱动是否已经被系统识别:
command -v nvidia-smi && nvidia-smi || echo "未检测到可用的 nvidia-smi,后续按 CPU 模式检查"
能够看到 GPU 型号、驱动版本和显存,才具备继续排查 GPU 推理的基础。没有 nvidia-smi 不代表 Ollama 一定不能运行,但首次验证应按 CPU 模式预估资源,不要把“安装成功”误判为“GPU 已经生效”。
二、安装 Ollama 并确认服务单元
1. 下载并执行安装程序
安装前可以先把脚本保存到临时目录,查看开头内容后再执行,避免在未检查的情况下直接通过管道运行:
curl -fsSL https://ollama.com/install.sh -o /tmp/ollama-install.sh
sed -n '1,80p' /tmp/ollama-install.sh
sudo sh /tmp/ollama-install.sh
安装程序可能会放置 ollama 命令、创建服务用户,并生成 systemd 服务。安装完成后确认命令路径和版本:
command -v ollama
ollama --version
预期能够看到类似以下结果:
/usr/local/bin/ollama
ollama version ...
版本号不需要与示例完全一致,关键是命令能够执行。如果出现 command not found,先检查安装输出、当前用户的 PATH,以及安装程序实际写入的位置。
2. 查找并启动 systemd 服务
确认安装程序是否生成了服务单元:
systemctl list-unit-files | grep -i ollama
systemctl cat ollama.service
如果能够看到 ollama.service,启动并设置开机启动:
sudo systemctl enable --now ollama
systemctl is-enabled ollama
systemctl is-active ollama
成功时,两个状态命令通常分别返回:
enabled
active
再查看最近日志:
sudo journalctl -u ollama -n 50 --no-pager
日志内容会随版本变化,重点观察是否出现启动失败、权限错误、端口占用或反复重启。
如果没有 ollama.service,可以先在前台手动启动,用于确认程序本身能否运行:
OLLAMA_HOST=127.0.0.1:11434 ollama serve
该命令会持续占用当前终端。另开一个终端进行接口测试,不要在 systemd 服务已经运行时再次执行,否则可能发生端口冲突。手动模式只适合临时验证,正式使用仍应配置服务管理方式。
三、固定监听地址和模型存储目录
首次部署建议让 API 只监听本机回环地址,并把模型集中放在单独目录。这样既便于检查磁盘,也避免模型被当前登录用户下载到另一个目录,导致服务进程找不到模型。
1. 确认服务运行用户
先读取服务配置中的运行用户:
OLLAMA_USER="$(systemctl show ollama.service -p User --value)"
printf 'Ollama service user: %s\n' "$OLLAMA_USER"
systemctl cat ollama.service
常见结果是 ollama。如果变量为空,不要直接假设用户就是 ollama,应查看 systemctl cat ollama.service 中是否存在 User=,确认服务实际以哪个账号运行。下面步骤以服务用户为 ollama 或其他非 root 用户为前提。
2. 创建模型目录并设置权限
确认服务用户存在后执行:
test -n "$OLLAMA_USER" || {
echo "未读取到服务用户,请先检查 systemctl cat ollama.service"
exit 1
}
OLLAMA_GROUP="$(id -gn "$OLLAMA_USER")"
sudo install -d -m 0750 -o "$OLLAMA_USER" -g "$OLLAMA_GROUP" /srv/ollama/models
sudo -u "$OLLAMA_USER" test -w /srv/ollama/models
echo $?
最后输出 0 表示该服务用户可以写入模型目录。若输出非 0,先修正目录所有者和权限,不要通过 chmod 777 解决。
3. 写入 systemd 环境配置
创建服务覆盖配置。该配置将监听地址固定为 127.0.0.1:11434,并将模型目录设为 /srv/ollama/models:
sudo install -d -m 0755 /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_MODELS=/srv/ollama/models"
EOF
重新加载 systemd 并重启服务:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama
systemctl show ollama.service -p Environment
预期能够在环境变量中看到类似内容:
OLLAMA_HOST=127.0.0.1:11434 OLLAMA_MODELS=/srv/ollama/models
如果重启失败,先不要继续下载模型,直接检查:
sudo systemctl status ollama --no-pager -l
sudo journalctl -u ollama -b --no-pager -n 100
四、下载模型并验证 API
1. 先验证服务端口
模型还没有下载时,也可以先检查服务是否正常监听:
curl --connect-timeout 5 --max-time 10 -sS \
http://127.0.0.1:11434/api/tags
如果服务正常,通常会返回 JSON。还没有模型时可能是:
{"models":[]}
这一步只能证明 HTTP 服务已经响应,不能证明模型推理可用。若出现 Connection refused,检查 systemctl is-active ollama 和监听端口:
sudo ss -lntp | grep ':11434'
使用前面配置后,监听结果通常应包含:
127.0.0.1:11434
2. 以服务用户下载测试模型
以下使用 qwen2.5:3b 作为小模型示例。模型标签以实际可用的模型目录为准,如果该标签不可用,应替换为已经确认存在的标签。
OLLAMA_USER="$(systemctl show ollama.service -p User --value)"
test -n "$OLLAMA_USER" || {
echo "未读取到服务用户"
exit 1
}
MODEL="qwen2.5:3b"
sudo -u "$OLLAMA_USER" env \
OLLAMA_MODELS=/srv/ollama/models \
ollama pull "$MODEL"
下载期间重点观察:
- 下载进度是否持续变化;
/srv/ollama/models所在分区是否有足够空间;- 是否出现权限、DNS、TLS 或模型标签错误;
- 当前下载命令是否确实使用了与 systemd 相同的模型目录。
下载完成后查看模型清单和目录占用:
sudo -u "$OLLAMA_USER" env \
OLLAMA_MODELS=/srv/ollama/models \
ollama list
sudo du -sh /srv/ollama/models
df -h /srv/ollama/models
ollama list 能看到目标模型,且目录占用已经增加,说明模型文件基本落盘。若使用普通登录用户直接执行 ollama pull,可能会把模型放入该用户的默认目录,而不是服务使用的 /srv/ollama/models,这也是“命令行能运行、API 却找不到模型”的常见原因。
3. 通过原生 API 发起一次推理
先再次查看模型列表:
curl --connect-timeout 5 --max-time 10 -sS \
http://127.0.0.1:11434/api/tags
然后调用生成接口。stream:false 用于让结果一次性返回,便于脚本和验收使用:
curl --connect-timeout 5 --max-time 180 -sS \
http://127.0.0.1:11434/api/generate \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen2.5:3b",
"prompt": "请用一句话说明 Linux 上的模型服务已经启动。",
"stream": false
}'
成功结果通常包含以下字段:
{
"model": "qwen2.5:3b",
"response": "Linux 上的模型服务已经启动并可以返回推理结果。",
"done": true
}
第一次请求可能明显慢于后续请求,因为服务需要加载模型。只要最终返回 response 和 "done": true,就说明已经完成了从 HTTP 请求、模型加载到推理返回的完整链路验证。
请求完成后可以查看模型是否被加载,以及推理主要使用 CPU 还是 GPU:
sudo -u "$OLLAMA_USER" env \
OLLAMA_MODELS=/srv/ollama/models \
ollama ps
如果服务器有 NVIDIA GPU,也可以同时观察:
nvidia-smi
ollama ps 的处理器、模型大小和运行状态用于判断实际加载情况;仅仅存在 nvidia-smi 输出,不能证明 Ollama 已经使用 GPU。
五、常见失败情况和处理顺序
1. 安装命令失败
先区分是下载失败还是执行权限失败:
ls -l /tmp/ollama-install.sh
head -n 5 /tmp/ollama-install.sh
command -v curl
如果脚本文件为空或下载不完整,检查 DNS、HTTPS 出网和代理策略。如果脚本内容正常但执行时报权限错误,确认当前账号是否能执行 sudo:
sudo -v
不要在安装脚本失败后直接重复执行多次,先查看是否已经写入二进制或创建服务,避免形成多个不一致的安装状态。
2. 服务启动失败或端口被占用
检查服务状态、日志和端口:
sudo systemctl status ollama --no-pager -l
sudo journalctl -u ollama -b --no-pager -n 100
sudo ss -lntp | grep ':11434'
如果端口已被另一个 Ollama 进程占用,通常不需要再启动第二个进程;确认原进程是否能响应 /api/tags。如果是其他业务占用 11434,应先评估影响,再修改监听端口,例如:
sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11435"
Environment="OLLAMA_MODELS=/srv/ollama/models"
EOF
sudo systemctl daemon-reload
sudo systemctl restart ollama
修改端口会影响所有调用方,验证地址也必须同步改为 http://127.0.0.1:11435。不要为了快速解决冲突而终止不明进程。
3. API 可以访问,但模型下载或推理失败
先检查磁盘和权限:
df -h /srv/ollama/models
df -ih /srv/ollama/models
sudo -u "$OLLAMA_USER" test -w /srv/ollama/models
如果返回模型标签不存在,应检查标签拼写或更换可用的小模型。若返回内存不足、进程被系统终止,可查看内核日志:
sudo journalctl -k -b --no-pager | grep -iE 'oom|out of memory|killed process'
free -h
处理方向通常是选择更小的模型、降低上下文长度、减少并发请求,或增加内存。GPU 显存不足时,即使系统内存充足,也可能在加载阶段失败;此时应结合 nvidia-smi、ollama ps 和服务日志判断。
4. 远程机器无法访问接口
默认监听 127.0.0.1 时,只有服务器本机可以访问,这是较安全的默认边界。远程应用无法访问并不等于服务异常,先在服务器本机执行 /api/tags 验证。
如果确实需要远程调用,必须明确修改监听地址,同时限制安全组或防火墙来源,并在前置访问层增加身份认证和 TLS。不要直接把未做访问控制的 11434 端口暴露到公网;对外开放属于部署边界变化,不能仅用“改成 0.0.0.0”作为修复方案。
六、验收与回滚检查项
部署完成后,可以按下表逐项验收:
| 验收项目 | 检查命令或方法 | 通过标准 |
|---|---|---|
| 二进制 | ollama --version | 能输出版本信息 |
| 服务状态 | systemctl is-enabled ollama、systemctl is-active ollama | 分别为 enabled、active |
| 端口监听 | ss -lntp | grep ':11434' | 按预期监听本机地址 |
| HTTP 服务 | curl http://127.0.0.1:11434/api/tags | 返回合法 JSON |
| 模型文件 | ollama list、du -sh /srv/ollama/models | 目标模型存在且目录可读 |
| 推理接口 | /api/generate 且 stream:false | 返回 response 和 done:true |
| 资源使用 | free -h、ollama ps、必要时 nvidia-smi | 无 OOM,处理器使用情况符合预期 |
| 重启恢复 | sudo systemctl restart ollama 后重复 API 测试 | 服务可重新启动并找到模型 |
回滚时,优先回滚服务配置,不要一开始删除模型数据。先停止并禁用服务:
sudo systemctl disable --now ollama
该操作会停止服务并取消开机启动,但不会删除 /srv/ollama/models 中的模型。若本次创建的覆盖配置需要撤销,先备份后删除;删除前应确认文件确实由本次部署创建,且已经记录原配置:
sudo cp -a \
/etc/systemd/system/ollama.service.d/override.conf \
/root/ollama-override.conf.backup
sudo rm -f /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
rm -f 会移除本次覆盖配置,执行前应确认路径无误。恢复原服务后重新启动:
sudo systemctl enable --now ollama
systemctl is-active ollama
如果只是暂时撤销部署,建议保留模型目录和配置备份,便于后续恢复。只有在确认模型已备份、且确实要释放磁盘时,才考虑删除 /srv/ollama/models;该操作会永久删除已下载模型,不属于普通故障回滚步骤。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6558.html



