在Linux服务器上部署Ollama,怎样完成模型加载与首次调用?

发布人:A5数据发布时间:2026-10-17 09:55阅读量:155

在Linux服务器上完成Ollama的首次部署,需要依次完成安装程序、启动本地服务、下载模型,以及发起一次真实推理请求。判断部署成功不能只看安装命令是否退出:还要确认服务端口可访问、模型已下载,并且命令行或API能够返回模型生成的内容。

下面以使用systemd的Ubuntu 22.04/24.04服务器为操作环境,采用主机直接安装方式,先部署一个较小的文本模型,再通过本机API验证。首次运行不需要开放公网端口,也不必安装Web界面;没有可用GPU时,可以先用CPU完成流程验证,但生成速度需要结合实际硬件判断。

一、准备环境,明确首次部署边界

检查系统、权限和资源

执行以下命令,确认系统架构、资源余量与服务管理方式:

cat /etc/os-release
uname -m
ps -p 1 -o comm=
free -h
df -h / /tmp
command -v curl
command -v zstd

预期结果与处理方式如下:

检查项预期结果不满足时的处理
系统架构x86_64或aarch64先核对安装程序是否支持该架构
PID 1进程systemd非systemd环境不直接照搬本文服务命令
操作权限能使用sudo由管理员完成系统级安装
下载工具能找到curl先通过发行版软件仓库安装
解压工具能找到zstd若安装包需要该格式,先安装相应工具
内存与磁盘有足够可用空间不只检查容量总额,还要检查剩余量

本文使用qwen2.5:1.5b作为首次验证模型。对于主要运行该服务的测试服务器,可以从4个CPU逻辑核心、8 GiB内存和约10 GiB空闲磁盘的配置开始评估。这是便于首次部署的参考配置,不是模型运行的硬性下限;实际占用还受量化格式、上下文长度和并发请求影响。

GPU不是完成本次验证的必要条件。若计划使用NVIDIA GPU,可以先执行:

nvidia-smi

命令能正常显示设备,说明驱动能够识别GPU,但不代表Ollama一定已经使用它;是否参与推理,需要在模型运行后检查。

围绕Ollama模型加载与推理运行,A5数据提供香港、美国GPU物理服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型文件存放、加载和推理计算提供硬件基础。同时,AMD EPYC及大内存服务器方案可承载CPU推理与应用程序运行,覆盖从小模型首次部署到后续HTTP API业务接入的资源需求。

确认不是已有部署

安装前检查:

command -v ollama
systemctl list-unit-files ollama.service

如果已经存在Ollama程序或服务,先核对版本、服务配置及模型目录,不要直接把首次安装当作升级操作。下面的步骤以没有现有Ollama业务为前提,避免覆盖正在使用的服务。

安装过程中需要访问Ollama安装地址及模型下载服务。应先确认服务器具备正常的DNS解析和HTTPS出站访问能力;首次部署无需调整入站防火墙规则。

二、安装Ollama,启动并验证本地服务

下载并检查安装脚本

先保存安装脚本,再检查内容,不直接把下载结果传给Shell:

installer=$(mktemp /tmp/ollama-install.XXXXXX.sh)

curl -fL https://ollama.com/install.sh -o "$installer"

less "$installer"

确认脚本来源和内容后执行:

sudo sh "$installer"

安装脚本具有系统修改权限,可能写入程序文件、创建服务用户和systemd服务,并根据环境处理相关依赖。应在没有现有Ollama业务的前提下执行;如果脚本提示安装GPU相关组件,先确认是否符合本机驱动管理要求。

安装完成后检查:

command -v ollama
ollama --version
sudo systemctl status ollama --no-pager

预期能够找到ollama命令,并看到服务处于active (running)状态。若程序已安装但服务没有启动,执行:

sudo systemctl enable --now ollama

随后再次检查状态。启用服务意味着它会在系统启动时自动运行;如果只是短期测试、不希望设置开机启动,可以改用sudo systemctl start ollama。

明确限定为本机访问

Ollama通常使用本地地址上的11434端口。为了让首次部署的访问边界明确,可以通过systemd覆盖配置显式指定监听地址。

以下文件应仅用于本次新部署。先检查是否已存在:

sudo test -e /etc/systemd/system/ollama.service.d/10-local-only.conf \
  && echo "配置已存在,请先检查,不要覆盖"

如果文件已存在,停止后续写入,先查看并备份原配置;如果不存在,再执行:

sudo mkdir -p /etc/systemd/system/ollama.service.d

sudo tee /etc/systemd/system/ollama.service.d/10-local-only.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
EOF

sudo systemctl daemon-reload
sudo systemctl restart ollama

这次重启会中断正在处理的推理请求,因此只在尚无业务请求的首次部署阶段操作。

检查最终配置与监听状态:

sudo systemctl cat ollama
sudo ss -lntp 'sport = :11434'
curl -fsS http://127.0.0.1:11434/api/version

预期监听地址为127.0.0.1:11434,版本接口返回包含version字段的JSON。如果看到0.0.0.0:11434或[::]:11434,说明实际监听范围不限于本机,需要检查是否存在其他覆盖配置或另一个手动启动的进程。

首次调用应先在回环地址上完成。不要为了让远程请求成功,直接把模型接口暴露到公网。 本文不涉及远程接入、认证网关或公网发布。

二、安装Ollama,启动并验证本地服务/明确限定为本机访问配图

三、下载模型,再完成第一次加载

下载模型并验证本地记录

在当前终端中指定客户端连接的服务地址:

export OLLAMA_HOST=127.0.0.1:11434

然后下载模型:

ollama pull qwen2.5:1.5b

下载过程通常会显示分层下载、校验与完成信息。耗时主要取决于网络状况和模型文件大小,不宜把下载时间当作推理性能指标。

下载结束后检查:

ollama list
ollama show qwen2.5:1.5b

ollama list应包含qwen2.5:1.5b;ollama show应能显示模型信息。若模型名称不匹配,应按列表中的实际名称调用,不要随意替换标签。

这里需要区分两个状态:

  • 模型已下载:模型文件位于服务器磁盘中,能够通过ollama list查看。
  • 模型已加载:模型已进入运行所需的内存或显存,能够通过ollama ps查看。

因此,下载完成后ollama ps为空,并不说明部署失败。

发起一次命令行推理

使用短提示词验证模型能否加载和生成内容:

ollama run qwen2.5:1.5b "请用一句中文说明Linux服务器的作用。"

首次请求需要加载模型,等待时间可能比后续请求长。预期终端返回一段与问题相关的中文文本;具体措辞不固定,不应以回答是否与某个示例完全一致作为验收条件。

请求结束后检查:

ollama ps

通常可以看到模型名称、资源占用、处理器分配等信息。模型可能在空闲一段时间后卸载,因此应在请求结束后及时检查。

三、下载模型,再完成第一次加载/发起一次命令行推理配图

如果准备使用GPU,重点查看PROCESSOR列,并结合nvidia-smi观察显存和进程变化。若显示使用CPU,只能说明此次推理没有按预期使用GPU,不能据此判断Ollama安装失败。

四、通过HTTP API完成首次调用

命令行调用成功后,再用HTTP请求验证服务接口。这样可以区分“模型能运行”和“业务程序能通过API调用”两个验收层次。

使用非流式响应,便于核对结果

执行:

curl -fS http://127.0.0.1:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "qwen2.5:1.5b",
    "prompt": "请用两句话解释什么是Linux服务器。",
    "stream": false,
    "keep_alive": "5m",
    "options": {
      "num_predict": 128
    }
  }'

参数含义如下:

参数本次用途
model指定已下载的模型及标签
prompt提供用于首次验证的输入
stream: false等待生成结束后返回一个完整JSON对象
keep_alive: "5m"请求结束后保留模型一段时间,便于继续验证
num_predict: 128限制生成长度,避免首次测试输出过长

正常情况下,响应中应包含model、response和done等字段。以下仅为结构示例,省略了其他字段,不代表实际执行记录:

{
  "model": "qwen2.5:1.5b",
  "response": "Linux服务器是运行Linux操作系统、用于提供计算或网络服务的计算机。它可以承载网站、应用程序和数据处理任务。",
  "done": true
}

验收时应同时检查HTTP请求成功、response有生成内容、done为true。如果因为生成长度限制而结束,可以适度提高num_predict,但首次验证不需要追求长回答。

Ollama生成接口默认可以返回流式结果。流式响应是多行JSON,而不是一个完整JSON对象;后续接入程序时,应明确选择流式或非流式模式,不能使用同一种解析方式处理两者。

复查模型是否仍在运行

完成API调用后执行:

ollama ps
curl -fsS http://127.0.0.1:11434/api/tags

前者检查当前加载状态,后者检查服务端可见的本地模型。至此,服务启动、模型下载、模型加载和HTTP调用四个环节已经分别验证。

五、首次部署失败时,按低风险顺序排查

接口连接失败:先看服务,再看端口

如果出现Connection refused,先执行:

sudo systemctl status ollama --no-pager
sudo journalctl -u ollama -n 100 --no-pager
sudo ss -lntp 'sport = :11434'

根据结果分别处理:

  • 服务未运行:查看日志中的启动错误,修复后再启动。
  • 服务运行但未监听目标地址:检查systemd环境变量及是否存在其他覆盖配置。
  • 端口被其他进程占用:先确认占用者,不要直接终止未知进程。
  • 本机接口正常、其他机器无法连接:当前配置只允许本机访问,这是预期行为,不应先修改防火墙。

修改服务配置后需要执行daemon-reload并重启服务;只修改当前终端的环境变量,不会改变systemd服务的监听地址。

模型下载失败:区分网络、磁盘与名称问题

先检查模型名称和磁盘余量,再根据下载报错判断DNS、TLS连接或下载服务访问是否异常:

df -h
sudo journalctl -u ollama -n 100 --no-pager
systemctl show ollama -p User -p Environment
getent passwd ollama

模型文件由服务端保存,不一定在当前登录用户的主目录中。应优先查看服务是否设置OLLAMA_MODELS;如果没有设置,再结合服务用户的主目录检查默认的.ollama/models目录及其所在分区。

下载中断后可以重新执行相同的ollama pull命令。不要把删除整个模型目录作为第一处理步骤,这可能影响其他模型,也会增加重新下载成本。

请求长时间没有返回:观察资源和加载状态

另开一个终端检查:

ollama ps
free -h
sudo journalctl -u ollama -n 100 --no-pager

首次加载期间,API等待较久不一定是故障。如果日志没有错误、资源仍有余量,可以继续观察。

若出现内存不足、进程被终止或明显的资源争抢,应先停止并发测试,缩短输入和输出,必要时改用更小模型。不要通过反复重启服务代替容量判断。GPU未被使用时,也应先核对驱动与设备支持情况,而不是立即重装整个软件。

六、验收与回滚检查项

首次部署验收

上线到后续接入阶段前,逐项确认:

  • ollama --version能够返回版本信息。
  • ollama.service处于运行状态,启动日志没有持续报错。
  • 11434仅监听预期的本机地址,未意外对外开放。
  • ollama list能看到目标模型,ollama show能读取模型信息。
  • 命令行调用能够生成内容,调用后能检查模型加载状态。
  • /api/generate的非流式请求返回有效JSON和生成文本。
  • 已确认本次使用CPU还是GPU,并记录实际资源余量。
  • 已明确是否需要开机启动,没有把测试部署误当作正式服务。

回滚到未提供服务的状态

如果只想释放模型占用的内存或显存,先卸载运行中的模型,不删除下载文件:

ollama stop qwen2.5:1.5b

如果不再保留本次测试模型,可在服务仍运行时执行:

ollama rm qwen2.5:1.5b

这会移除该模型的本地记录,并清理不再被引用的模型数据;再次使用时需要重新下载。执行前应确认没有其他任务依赖它,共享的数据不一定会全部释放。

若需要停止本次部署并取消开机启动:

sudo systemctl disable --now ollama
sudo systemctl is-active ollama
sudo ss -lntp 'sport = :11434'

预期服务为inactive,且该服务不再监听11434。如果端口仍存在,继续确认是否有手动启动的Ollama进程或其他服务占用。

上述回滚保留程序和配置文件,便于再次启动,不等同于完全卸载。最终核对服务已停止、开机启动已取消、测试模型是否按计划保留,以及安装前已有的驱动和其他业务未被意外修改;不为清理本次测试批量删除服务用户、依赖包或未知目录。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4170.html

相关推荐