在Linux服务器上部署Ollama,怎样完成模型加载与首次调用?
在Linux服务器上完成Ollama的首次部署,需要依次完成安装程序、启动本地服务、下载模型,以及发起一次真实推理请求。判断部署成功不能只看安装命令是否退出:还要确认服务端口可访问、模型已下载,并且命令行或API能够返回模型生成的内容。
下面以使用systemd的Ubuntu 22.04/24.04服务器为操作环境,采用主机直接安装方式,先部署一个较小的文本模型,再通过本机API验证。首次运行不需要开放公网端口,也不必安装Web界面;没有可用GPU时,可以先用CPU完成流程验证,但生成速度需要结合实际硬件判断。
一、准备环境,明确首次部署边界
检查系统、权限和资源
执行以下命令,确认系统架构、资源余量与服务管理方式:
cat /etc/os-release
uname -m
ps -p 1 -o comm=
free -h
df -h / /tmp
command -v curl
command -v zstd
预期结果与处理方式如下:
| 检查项 | 预期结果 | 不满足时的处理 |
|---|---|---|
| 系统架构 | x86_64或aarch64 | 先核对安装程序是否支持该架构 |
| PID 1进程 | systemd | 非systemd环境不直接照搬本文服务命令 |
| 操作权限 | 能使用sudo | 由管理员完成系统级安装 |
| 下载工具 | 能找到curl | 先通过发行版软件仓库安装 |
| 解压工具 | 能找到zstd | 若安装包需要该格式,先安装相应工具 |
| 内存与磁盘 | 有足够可用空间 | 不只检查容量总额,还要检查剩余量 |
本文使用qwen2.5:1.5b作为首次验证模型。对于主要运行该服务的测试服务器,可以从4个CPU逻辑核心、8 GiB内存和约10 GiB空闲磁盘的配置开始评估。这是便于首次部署的参考配置,不是模型运行的硬性下限;实际占用还受量化格式、上下文长度和并发请求影响。
GPU不是完成本次验证的必要条件。若计划使用NVIDIA GPU,可以先执行:
nvidia-smi
命令能正常显示设备,说明驱动能够识别GPU,但不代表Ollama一定已经使用它;是否参与推理,需要在模型运行后检查。
围绕Ollama模型加载与推理运行,A5数据提供香港、美国GPU物理服务器,涵盖A100 80GB、RTX 4090等显卡选项,并搭配服务器CPU、内存与NVMe存储,为模型文件存放、加载和推理计算提供硬件基础。同时,AMD EPYC及大内存服务器方案可承载CPU推理与应用程序运行,覆盖从小模型首次部署到后续HTTP API业务接入的资源需求。
确认不是已有部署
安装前检查:
command -v ollama
systemctl list-unit-files ollama.service
如果已经存在Ollama程序或服务,先核对版本、服务配置及模型目录,不要直接把首次安装当作升级操作。下面的步骤以没有现有Ollama业务为前提,避免覆盖正在使用的服务。
安装过程中需要访问Ollama安装地址及模型下载服务。应先确认服务器具备正常的DNS解析和HTTPS出站访问能力;首次部署无需调整入站防火墙规则。
二、安装Ollama,启动并验证本地服务
下载并检查安装脚本
先保存安装脚本,再检查内容,不直接把下载结果传给Shell:
installer=$(mktemp /tmp/ollama-install.XXXXXX.sh)
curl -fL https://ollama.com/install.sh -o "$installer"
less "$installer"
确认脚本来源和内容后执行:
sudo sh "$installer"
安装脚本具有系统修改权限,可能写入程序文件、创建服务用户和systemd服务,并根据环境处理相关依赖。应在没有现有Ollama业务的前提下执行;如果脚本提示安装GPU相关组件,先确认是否符合本机驱动管理要求。
安装完成后检查:
command -v ollama
ollama --version
sudo systemctl status ollama --no-pager
预期能够找到ollama命令,并看到服务处于active (running)状态。若程序已安装但服务没有启动,执行:
sudo systemctl enable --now ollama
随后再次检查状态。启用服务意味着它会在系统启动时自动运行;如果只是短期测试、不希望设置开机启动,可以改用sudo systemctl start ollama。
明确限定为本机访问
Ollama通常使用本地地址上的11434端口。为了让首次部署的访问边界明确,可以通过systemd覆盖配置显式指定监听地址。
以下文件应仅用于本次新部署。先检查是否已存在:
sudo test -e /etc/systemd/system/ollama.service.d/10-local-only.conf \
&& echo "配置已存在,请先检查,不要覆盖"
如果文件已存在,停止后续写入,先查看并备份原配置;如果不存在,再执行:
sudo mkdir -p /etc/systemd/system/ollama.service.d
sudo tee /etc/systemd/system/ollama.service.d/10-local-only.conf >/dev/null <<'EOF'
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
EOF
sudo systemctl daemon-reload
sudo systemctl restart ollama
这次重启会中断正在处理的推理请求,因此只在尚无业务请求的首次部署阶段操作。
检查最终配置与监听状态:
sudo systemctl cat ollama
sudo ss -lntp 'sport = :11434'
curl -fsS http://127.0.0.1:11434/api/version
预期监听地址为127.0.0.1:11434,版本接口返回包含version字段的JSON。如果看到0.0.0.0:11434或[::]:11434,说明实际监听范围不限于本机,需要检查是否存在其他覆盖配置或另一个手动启动的进程。
首次调用应先在回环地址上完成。不要为了让远程请求成功,直接把模型接口暴露到公网。 本文不涉及远程接入、认证网关或公网发布。

三、下载模型,再完成第一次加载
下载模型并验证本地记录
在当前终端中指定客户端连接的服务地址:
export OLLAMA_HOST=127.0.0.1:11434
然后下载模型:
ollama pull qwen2.5:1.5b
下载过程通常会显示分层下载、校验与完成信息。耗时主要取决于网络状况和模型文件大小,不宜把下载时间当作推理性能指标。
下载结束后检查:
ollama list
ollama show qwen2.5:1.5b
ollama list应包含qwen2.5:1.5b;ollama show应能显示模型信息。若模型名称不匹配,应按列表中的实际名称调用,不要随意替换标签。
这里需要区分两个状态:
- 模型已下载:模型文件位于服务器磁盘中,能够通过
ollama list查看。 - 模型已加载:模型已进入运行所需的内存或显存,能够通过
ollama ps查看。
因此,下载完成后ollama ps为空,并不说明部署失败。
发起一次命令行推理
使用短提示词验证模型能否加载和生成内容:
ollama run qwen2.5:1.5b "请用一句中文说明Linux服务器的作用。"
首次请求需要加载模型,等待时间可能比后续请求长。预期终端返回一段与问题相关的中文文本;具体措辞不固定,不应以回答是否与某个示例完全一致作为验收条件。
请求结束后检查:
ollama ps
通常可以看到模型名称、资源占用、处理器分配等信息。模型可能在空闲一段时间后卸载,因此应在请求结束后及时检查。

如果准备使用GPU,重点查看PROCESSOR列,并结合nvidia-smi观察显存和进程变化。若显示使用CPU,只能说明此次推理没有按预期使用GPU,不能据此判断Ollama安装失败。
四、通过HTTP API完成首次调用
命令行调用成功后,再用HTTP请求验证服务接口。这样可以区分“模型能运行”和“业务程序能通过API调用”两个验收层次。
使用非流式响应,便于核对结果
执行:
curl -fS http://127.0.0.1:11434/api/generate \
-H 'Content-Type: application/json' \
-d '{
"model": "qwen2.5:1.5b",
"prompt": "请用两句话解释什么是Linux服务器。",
"stream": false,
"keep_alive": "5m",
"options": {
"num_predict": 128
}
}'
参数含义如下:
| 参数 | 本次用途 |
|---|---|
model | 指定已下载的模型及标签 |
prompt | 提供用于首次验证的输入 |
stream: false | 等待生成结束后返回一个完整JSON对象 |
keep_alive: "5m" | 请求结束后保留模型一段时间,便于继续验证 |
num_predict: 128 | 限制生成长度,避免首次测试输出过长 |
正常情况下,响应中应包含model、response和done等字段。以下仅为结构示例,省略了其他字段,不代表实际执行记录:
{
"model": "qwen2.5:1.5b",
"response": "Linux服务器是运行Linux操作系统、用于提供计算或网络服务的计算机。它可以承载网站、应用程序和数据处理任务。",
"done": true
}
验收时应同时检查HTTP请求成功、response有生成内容、done为true。如果因为生成长度限制而结束,可以适度提高num_predict,但首次验证不需要追求长回答。
Ollama生成接口默认可以返回流式结果。流式响应是多行JSON,而不是一个完整JSON对象;后续接入程序时,应明确选择流式或非流式模式,不能使用同一种解析方式处理两者。
复查模型是否仍在运行
完成API调用后执行:
ollama ps
curl -fsS http://127.0.0.1:11434/api/tags
前者检查当前加载状态,后者检查服务端可见的本地模型。至此,服务启动、模型下载、模型加载和HTTP调用四个环节已经分别验证。
五、首次部署失败时,按低风险顺序排查
接口连接失败:先看服务,再看端口
如果出现Connection refused,先执行:
sudo systemctl status ollama --no-pager
sudo journalctl -u ollama -n 100 --no-pager
sudo ss -lntp 'sport = :11434'
根据结果分别处理:
- 服务未运行:查看日志中的启动错误,修复后再启动。
- 服务运行但未监听目标地址:检查systemd环境变量及是否存在其他覆盖配置。
- 端口被其他进程占用:先确认占用者,不要直接终止未知进程。
- 本机接口正常、其他机器无法连接:当前配置只允许本机访问,这是预期行为,不应先修改防火墙。
修改服务配置后需要执行daemon-reload并重启服务;只修改当前终端的环境变量,不会改变systemd服务的监听地址。
模型下载失败:区分网络、磁盘与名称问题
先检查模型名称和磁盘余量,再根据下载报错判断DNS、TLS连接或下载服务访问是否异常:
df -h
sudo journalctl -u ollama -n 100 --no-pager
systemctl show ollama -p User -p Environment
getent passwd ollama
模型文件由服务端保存,不一定在当前登录用户的主目录中。应优先查看服务是否设置OLLAMA_MODELS;如果没有设置,再结合服务用户的主目录检查默认的.ollama/models目录及其所在分区。
下载中断后可以重新执行相同的ollama pull命令。不要把删除整个模型目录作为第一处理步骤,这可能影响其他模型,也会增加重新下载成本。
请求长时间没有返回:观察资源和加载状态
另开一个终端检查:
ollama ps
free -h
sudo journalctl -u ollama -n 100 --no-pager
首次加载期间,API等待较久不一定是故障。如果日志没有错误、资源仍有余量,可以继续观察。
若出现内存不足、进程被终止或明显的资源争抢,应先停止并发测试,缩短输入和输出,必要时改用更小模型。不要通过反复重启服务代替容量判断。GPU未被使用时,也应先核对驱动与设备支持情况,而不是立即重装整个软件。
六、验收与回滚检查项
首次部署验收
上线到后续接入阶段前,逐项确认:
ollama --version能够返回版本信息。ollama.service处于运行状态,启动日志没有持续报错。11434仅监听预期的本机地址,未意外对外开放。ollama list能看到目标模型,ollama show能读取模型信息。- 命令行调用能够生成内容,调用后能检查模型加载状态。
/api/generate的非流式请求返回有效JSON和生成文本。- 已确认本次使用CPU还是GPU,并记录实际资源余量。
- 已明确是否需要开机启动,没有把测试部署误当作正式服务。
回滚到未提供服务的状态
如果只想释放模型占用的内存或显存,先卸载运行中的模型,不删除下载文件:
ollama stop qwen2.5:1.5b
如果不再保留本次测试模型,可在服务仍运行时执行:
ollama rm qwen2.5:1.5b
这会移除该模型的本地记录,并清理不再被引用的模型数据;再次使用时需要重新下载。执行前应确认没有其他任务依赖它,共享的数据不一定会全部释放。
若需要停止本次部署并取消开机启动:
sudo systemctl disable --now ollama
sudo systemctl is-active ollama
sudo ss -lntp 'sport = :11434'
预期服务为inactive,且该服务不再监听11434。如果端口仍存在,继续确认是否有手动启动的Ollama进程或其他服务占用。
上述回滚保留程序和配置文件,便于再次启动,不等同于完全卸载。最终核对服务已停止、开机启动已取消、测试模型是否按计划保留,以及安装前已有的驱动和其他业务未被意外修改;不为清理本次测试批量删除服务用户、依赖包或未知目录。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4170.html



