Linux服务器如何部署Ollama并验证模型服务?需要先准备哪些运行条件

发布人:A5数据发布时间:2026-10-30 11:13阅读量:115

在 Linux 服务器上部署 Ollama,首次验收的目标应当明确为三件事:命令可执行、服务进程能稳定监听本机端口、指定模型可以通过 HTTP API 返回结果。适用环境通常是使用 systemd 的 64 位 Linux 发行版,例如 Ubuntu、Debian、Rocky Linux 或 AlmaLinux;如果服务器没有 systemd,也可以手动运行服务,但开机自启和故障恢复需要另外配置。

根据全文核心主题形成自然、专业、克制的技术文章主题场景

部署前需要准备 sudo 或 root 权限、可用的本地磁盘、足够的内存,以及下载模型所需的 HTTPS 出网和 DNS。GPU 不是运行 Ollama 的必需条件,没有 NVIDIA GPU 时可以使用 CPU 推理,但模型越大、上下文越长,响应时间和内存占用通常越高。以下命令和结果均为示例,实际版本、模型大小和输出内容会随服务器环境变化。

A5idc数据为Ollama模型服务提供多地区物理服务器资源,覆盖中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等节点,配置包含AMD EPYC、Xeon Gold、大内存与NVMe存储,可承载模型文件、API服务及多任务运行。针对AI推理和模型测试,还提供搭载A100 80GB、RTX 4090等显卡的GPU服务器,并配套不同带宽与线路方案,满足本地化访问和跨区域部署需求。

一、部署前确认运行条件

1. 确认系统、架构和 systemd

先确认发行版、CPU 架构和服务管理方式:

cat /etc/os-release
uname -m
command -v systemctl
systemctl --version | head -n 1

常见的可用结果类似:

NAME="Ubuntu"
VERSION="24.04 LTS ..."
x86_64
/usr/bin/systemctl
systemd 255 ...

需要重点关注以下条件:

  • uname -m 为 x86_64 或发行版和 Ollama 安装包明确支持的 64 位架构。
  • systemctl 可用,后续可以使用 ollama.service 管理进程。
  • 当前账号可以执行 sudo。
  • 系统的软件包管理器和基础工具正常。

如果服务器是 ARM、容器内部环境或非 systemd 系统,不要直接套用 systemd 命令,应先确认对应安装包和启动方式是否匹配。

2. 确认基础工具和出网能力

安装程序通常需要 curl,下载模型时还需要解析域名并建立 HTTPS 连接:

command -v curl
curl --connect-timeout 10 --max-time 20 -fsSI https://ollama.com | head

只要能返回 HTTP 响应头,通常说明 DNS 和 HTTPS 出网链路基本可用。若提示 Could not resolve host,优先检查 DNS;若提示连接超时或被拒绝,检查安全组、出口策略和企业网络限制。

如果系统没有 curl,可按发行版补充:

# Debian/Ubuntu
sudo apt-get update
sudo apt-get install -y curl ca-certificates
# RHEL/Rocky/AlmaLinux
sudo dnf install -y curl ca-certificates

3. 评估内存、磁盘和 GPU

先查看内存、磁盘和 CPU:

free -h
df -h /
lscpu | egrep 'Architecture|CPU\(s\)|Model name'

模型文件、运行时缓存和上下文数据都会占用空间。以下是常见量级,仅用于首次规划,不能替代具体模型标签的实际下载大小:

模型规模示例量化模型文件常见量级建议可用内存首次验证建议
3B 左右约 2~3 GB8 GB 以上适合 CPU 或小型 GPU
7B~8B 左右约 4~6 GB16 GB 以上需要关注并发和上下文长度
13B~14B 左右约 9~12 GB24~32 GB更适合有 GPU 或较大内存的服务器

磁盘至少要为模型文件预留约 20%~30% 的额外空间,用于临时文件、多个模型和运行缓存。例如一个约 5 GB 的模型,不建议只准备 5 GB 可用空间。

如果使用 NVIDIA GPU,先确认驱动是否已经被系统识别:

command -v nvidia-smi && nvidia-smi || echo "未检测到可用的 nvidia-smi,后续按 CPU 模式检查"

能够看到 GPU 型号、驱动版本和显存,才具备继续排查 GPU 推理的基础。没有 nvidia-smi 不代表 Ollama 一定不能运行,但首次验证应按 CPU 模式预估资源,不要把“安装成功”误判为“GPU 已经生效”。

二、安装 Ollama 并确认服务单元

1. 下载并执行安装程序

安装前可以先把脚本保存到临时目录,查看开头内容后再执行,避免在未检查的情况下直接通过管道运行:

curl -fsSL https://ollama.com/install.sh -o /tmp/ollama-install.sh
sed -n '1,80p' /tmp/ollama-install.sh
sudo sh /tmp/ollama-install.sh

安装程序可能会放置 ollama 命令、创建服务用户,并生成 systemd 服务。安装完成后确认命令路径和版本:

command -v ollama
ollama --version

预期能够看到类似以下结果:

/usr/local/bin/ollama
ollama version ...

版本号不需要与示例完全一致,关键是命令能够执行。如果出现 command not found,先检查安装输出、当前用户的 PATH,以及安装程序实际写入的位置。

2. 查找并启动 systemd 服务

确认安装程序是否生成了服务单元:

systemctl list-unit-files | grep -i ollama
systemctl cat ollama.service

如果能够看到 ollama.service,启动并设置开机启动:

sudo systemctl enable --now ollama
systemctl is-enabled ollama
systemctl is-active ollama

成功时,两个状态命令通常分别返回:

enabled
active

再查看最近日志:

sudo journalctl -u ollama -n 50 --no-pager

日志内容会随版本变化,重点观察是否出现启动失败、权限错误、端口占用或反复重启。

如果没有 ollama.service,可以先在前台手动启动,用于确认程序本身能否运行:

OLLAMA_HOST=127.0.0.1:11434 ollama serve

该命令会持续占用当前终端。另开一个终端进行接口测试,不要在 systemd 服务已经运行时再次执行,否则可能发生端口冲突。手动模式只适合临时验证,正式使用仍应配置服务管理方式。

三、固定监听地址和模型存储目录

首次部署建议让 API 只监听本机回环地址,并把模型集中放在单独目录。这样既便于检查磁盘,也避免模型被当前登录用户下载到另一个目录,导致服务进程找不到模型。

1. 确认服务运行用户

先读取服务配置中的运行用户:

OLLAMA_USER="$(systemctl show ollama.service -p User --value)"
printf 'Ollama service user: %s\n' "$OLLAMA_USER"
systemctl cat ollama.service

常见结果是 ollama。如果变量为空,不要直接假设用户就是 ollama,应查看 systemctl cat ollama.service 中是否存在 User=,确认服务实际以哪个账号运行。下面步骤以服务用户为 ollama 或其他非 root 用户为前提。

2. 创建模型目录并设置权限

确认服务用户存在后执行:

test -n "$OLLAMA_USER" || {
  echo "未读取到服务用户,请先检查 systemctl cat ollama.service"
  exit 1
}

OLLAMA_GROUP="$(id -gn "$OLLAMA_USER")"
sudo install -d -m 0750 -o "$OLLAMA_USER" -g "$OLLAMA_GROUP" /srv/ollama/models
sudo -u "$OLLAMA_USER" test -w /srv/ollama/models
echo $?

最后输出 0 表示该服务用户可以写入模型目录。若输出非 0,先修正目录所有者和权限,不要通过 chmod 777 解决。

3. 写入 systemd 环境配置

创建服务覆盖配置。该配置将监听地址固定为 127.0.0.1:11434,并将模型目录设为 /srv/ollama/models:

sudo install -d -m 0755 /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_MODELS=/srv/ollama/models"
EOF

重新加载 systemd 并重启服务:

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama
systemctl show ollama.service -p Environment

预期能够在环境变量中看到类似内容:

OLLAMA_HOST=127.0.0.1:11434 OLLAMA_MODELS=/srv/ollama/models

如果重启失败,先不要继续下载模型,直接检查:

sudo systemctl status ollama --no-pager -l
sudo journalctl -u ollama -b --no-pager -n 100

四、下载模型并验证 API

1. 先验证服务端口

模型还没有下载时,也可以先检查服务是否正常监听:

curl --connect-timeout 5 --max-time 10 -sS \
  http://127.0.0.1:11434/api/tags

如果服务正常,通常会返回 JSON。还没有模型时可能是:

{"models":[]}

这一步只能证明 HTTP 服务已经响应,不能证明模型推理可用。若出现 Connection refused,检查 systemctl is-active ollama 和监听端口:

sudo ss -lntp | grep ':11434'

使用前面配置后,监听结果通常应包含:

127.0.0.1:11434

2. 以服务用户下载测试模型

以下使用 qwen2.5:3b 作为小模型示例。模型标签以实际可用的模型目录为准,如果该标签不可用,应替换为已经确认存在的标签。

OLLAMA_USER="$(systemctl show ollama.service -p User --value)"
test -n "$OLLAMA_USER" || {
  echo "未读取到服务用户"
  exit 1
}

MODEL="qwen2.5:3b"
sudo -u "$OLLAMA_USER" env \
  OLLAMA_MODELS=/srv/ollama/models \
  ollama pull "$MODEL"

下载期间重点观察:

  • 下载进度是否持续变化;
  • /srv/ollama/models 所在分区是否有足够空间;
  • 是否出现权限、DNS、TLS 或模型标签错误;
  • 当前下载命令是否确实使用了与 systemd 相同的模型目录。

下载完成后查看模型清单和目录占用:

sudo -u "$OLLAMA_USER" env \
  OLLAMA_MODELS=/srv/ollama/models \
  ollama list

sudo du -sh /srv/ollama/models
df -h /srv/ollama/models

ollama list 能看到目标模型,且目录占用已经增加,说明模型文件基本落盘。若使用普通登录用户直接执行 ollama pull,可能会把模型放入该用户的默认目录,而不是服务使用的 /srv/ollama/models,这也是“命令行能运行、API 却找不到模型”的常见原因。

3. 通过原生 API 发起一次推理

先再次查看模型列表:

curl --connect-timeout 5 --max-time 10 -sS \
  http://127.0.0.1:11434/api/tags

然后调用生成接口。stream:false 用于让结果一次性返回,便于脚本和验收使用:

curl --connect-timeout 5 --max-time 180 -sS \
  http://127.0.0.1:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen2.5:3b",
    "prompt": "请用一句话说明 Linux 上的模型服务已经启动。",
    "stream": false
  }'

成功结果通常包含以下字段:

{
  "model": "qwen2.5:3b",
  "response": "Linux 上的模型服务已经启动并可以返回推理结果。",
  "done": true
}

第一次请求可能明显慢于后续请求,因为服务需要加载模型。只要最终返回 response 和 "done": true,就说明已经完成了从 HTTP 请求、模型加载到推理返回的完整链路验证。

请求完成后可以查看模型是否被加载,以及推理主要使用 CPU 还是 GPU:

sudo -u "$OLLAMA_USER" env \
  OLLAMA_MODELS=/srv/ollama/models \
  ollama ps

如果服务器有 NVIDIA GPU,也可以同时观察:

nvidia-smi

ollama ps 的处理器、模型大小和运行状态用于判断实际加载情况;仅仅存在 nvidia-smi 输出,不能证明 Ollama 已经使用 GPU。

五、常见失败情况和处理顺序

1. 安装命令失败

先区分是下载失败还是执行权限失败:

ls -l /tmp/ollama-install.sh
head -n 5 /tmp/ollama-install.sh
command -v curl

如果脚本文件为空或下载不完整,检查 DNS、HTTPS 出网和代理策略。如果脚本内容正常但执行时报权限错误,确认当前账号是否能执行 sudo:

sudo -v

不要在安装脚本失败后直接重复执行多次,先查看是否已经写入二进制或创建服务,避免形成多个不一致的安装状态。

2. 服务启动失败或端口被占用

检查服务状态、日志和端口:

sudo systemctl status ollama --no-pager -l
sudo journalctl -u ollama -b --no-pager -n 100
sudo ss -lntp | grep ':11434'

如果端口已被另一个 Ollama 进程占用,通常不需要再启动第二个进程;确认原进程是否能响应 /api/tags。如果是其他业务占用 11434,应先评估影响,再修改监听端口,例如:

sudo tee /etc/systemd/system/ollama.service.d/override.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11435"
Environment="OLLAMA_MODELS=/srv/ollama/models"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

修改端口会影响所有调用方,验证地址也必须同步改为 http://127.0.0.1:11435。不要为了快速解决冲突而终止不明进程。

3. API 可以访问,但模型下载或推理失败

先检查磁盘和权限:

df -h /srv/ollama/models
df -ih /srv/ollama/models
sudo -u "$OLLAMA_USER" test -w /srv/ollama/models

如果返回模型标签不存在,应检查标签拼写或更换可用的小模型。若返回内存不足、进程被系统终止,可查看内核日志:

sudo journalctl -k -b --no-pager | grep -iE 'oom|out of memory|killed process'
free -h

处理方向通常是选择更小的模型、降低上下文长度、减少并发请求,或增加内存。GPU 显存不足时,即使系统内存充足,也可能在加载阶段失败;此时应结合 nvidia-smi、ollama ps 和服务日志判断。

4. 远程机器无法访问接口

默认监听 127.0.0.1 时,只有服务器本机可以访问,这是较安全的默认边界。远程应用无法访问并不等于服务异常,先在服务器本机执行 /api/tags 验证。

如果确实需要远程调用,必须明确修改监听地址,同时限制安全组或防火墙来源,并在前置访问层增加身份认证和 TLS。不要直接把未做访问控制的 11434 端口暴露到公网;对外开放属于部署边界变化,不能仅用“改成 0.0.0.0”作为修复方案。

六、验收与回滚检查项

部署完成后,可以按下表逐项验收:

验收项目检查命令或方法通过标准
二进制ollama --version能输出版本信息
服务状态systemctl is-enabled ollama、systemctl is-active ollama分别为 enabled、active
端口监听ss -lntp | grep ':11434'按预期监听本机地址
HTTP 服务curl http://127.0.0.1:11434/api/tags返回合法 JSON
模型文件ollama list、du -sh /srv/ollama/models目标模型存在且目录可读
推理接口/api/generate 且 stream:false返回 response 和 done:true
资源使用free -h、ollama ps、必要时 nvidia-smi无 OOM,处理器使用情况符合预期
重启恢复sudo systemctl restart ollama 后重复 API 测试服务可重新启动并找到模型

回滚时,优先回滚服务配置,不要一开始删除模型数据。先停止并禁用服务:

sudo systemctl disable --now ollama

该操作会停止服务并取消开机启动,但不会删除 /srv/ollama/models 中的模型。若本次创建的覆盖配置需要撤销,先备份后删除;删除前应确认文件确实由本次部署创建,且已经记录原配置:

sudo cp -a \
  /etc/systemd/system/ollama.service.d/override.conf \
  /root/ollama-override.conf.backup

sudo rm -f /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload

rm -f 会移除本次覆盖配置,执行前应确认路径无误。恢复原服务后重新启动:

sudo systemctl enable --now ollama
systemctl is-active ollama

如果只是暂时撤销部署,建议保留模型目录和配置备份,便于后续恢复。只有在确认模型已备份、且确实要释放磁盘时,才考虑删除 /srv/ollama/models;该操作会永久删除已下载模型,不属于普通故障回滚步骤。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6558.html

相关推荐