马来西亚服务器部署GPU容器运行环境,需要配置哪些组件?
首次在马来西亚服务器上运行 GPU 容器,核心不是只在容器内安装 CUDA,而是打通“物理 GPU 或直通 GPU → NVIDIA 驱动 → Docker/containerd → NVIDIA Container Toolkit → CUDA 运行时镜像 → 业务程序”这一条链路。以 Ubuntu Server 22.04 LTS、x86_64 架构、NVIDIA GPU、Docker Engine 和 Docker Compose 为例,完成首次部署通常需要准备主机驱动、容器引擎、GPU 容器运行时、匹配的 CUDA 镜像、模型或数据存储,以及可访问软件仓库和镜像仓库的网络。

马来西亚机房不会改变 GPU 容器的基本安装方式,但会影响软件包下载、镜像拉取、DNS 解析、外网出口、时区和数据存储位置。下面的步骤假设服务器具备 sudo 权限,使用 rootful Docker,且不采用 Kubernetes 编排。若服务器已经由云厂商预装 NVIDIA 驱动或 Docker,应先核对现有版本,避免重复安装和混用软件源。
围绕马来西亚地区的GPU容器部署,A5idc数据提供吉隆坡物理服务器资源,可结合不同CPU、内存、磁盘与国际或优化线路,为容器化推理、模型服务及业务接口提供主机与网络基础;同时在香港、美国提供搭载A100 80GB、RTX 4090的GPU服务器,覆盖模型测试、AI推理和图像处理等场景。
需要配置的组件
| 组件 | 是否必需 | 主要作用 | 首次验证方式 |
|---|---|---|---|
| NVIDIA GPU 或 GPU 直通 | 必需 | 提供实际计算设备 | lspci、nvidia-smi |
| Ubuntu Server 22.04 LTS | 示例基础环境 | 提供内核、systemd 和 apt 软件包管理 | cat /etc/os-release |
| NVIDIA 主机驱动 | 必需 | 让 Linux 内核和用户态工具识别 GPU | nvidia-smi |
| Docker Engine、containerd | 必需 | 创建和管理容器 | docker version |
| NVIDIA Container Toolkit | 必需 | 将 GPU 设备和驱动库注入容器 | docker run --gpus all ... |
| CUDA Runtime 镜像 | 运行 CUDA 应用时必需 | 提供容器内的 CUDA 用户态运行库 | 容器内执行 nvidia-smi 或应用自检 |
| 本地 SSD 或独立数据盘 | 按业务需要 | 存放镜像、模型、缓存和日志 | df -hT、docker info |
| Docker Compose 插件 | 推荐 | 固化 GPU 容器配置,便于启动和回滚 | docker compose version |
| GPU 监控组件 | 可选 | 观察显存、利用率、温度和进程 | nvidia-smi 或监控系统 |
这里有一个容易混淆的边界:只运行容器时,主机通常只需要安装 NVIDIA 驱动和 NVIDIA Container Toolkit,不必再把完整 CUDA Toolkit 安装到主机。CUDA 的用户态运行库可以由容器镜像提供;只有在主机上直接编译 CUDA 程序或执行主机侧开发任务时,才需要额外安装主机开发工具链。
准备条件与部署前检查
确认服务器形态
裸金属服务器应能在 PCI 总线上看到 NVIDIA 设备。云服务器则必须确认实例类型包含 GPU,并且虚拟机已经完成 PCIe GPU 直通或厂商指定的 GPU 挂载。
如果下面的命令完全看不到 NVIDIA 设备,先处理云主机规格、GPU 直通或硬件连接问题,不要直接进入容器配置阶段。
cat /etc/os-release
uname -m
lspci -nn | grep -i -E 'nvidia|3d controller|vga' || true
free -h
df -hT /
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINT
示例中比较理想的结果包括:
uname -m输出x86_64;- 系统为 Ubuntu 22.04;
lspci输出 NVIDIA VGA 或 3D controller;- 根分区和 Docker 数据目录仍有足够空间。
镜像、模型和缓存的空间应分开估算。比如,一个采用十进制计量的 10 GB 镜像,在理论带宽 100 Mbps 下,最低传输时间为:
10 GB × 8 × 1000 ÷ 100 Mbps = 800 秒,约 13.3 分钟
实际还要叠加 TLS、仓库响应、磁盘写入和网络波动的时间。GPU 推理镜像和模型通常比普通 Web 镜像更大,建议先确认 docker info 中的 Docker 数据目录所在磁盘容量。
检查软件源和出口网络
马来西亚服务器至少需要能够解析并访问 Ubuntu 软件源、Docker 软件源、NVIDIA 软件源以及业务使用的容器镜像仓库。先检查 DNS 和 HTTPS,不要把镜像拉取失败误判为 GPU 配置错误。
getent hosts archive.ubuntu.com
getent hosts download.docker.com
getent hosts nvidia.github.io
curl -fsSI --max-time 10 https://download.docker.com/ | head
curl -fsSI --max-time 10 https://nvidia.github.io/ | head
如果 DNS 失败,优先检查服务器的 DNS 配置和云网络;如果 DNS 正常但 HTTPS 超时,检查出口安全策略、地域网络质量和仓库访问控制。软件仓库需要更换时,应使用组织认可并保留签名校验的镜像,不要直接使用来源不明的安装脚本。
核对当前是否已经有驱动
command -v nvidia-smi >/dev/null && nvidia-smi || true
command -v docker >/dev/null && docker version || true
如果 nvidia-smi 已经能正常列出 GPU,说明主机驱动可能已经由云厂商或系统镜像安装。此时先记录驱动版本,不要为了统一版本而立即覆盖现有驱动。如果 Docker 已经存在,也先确认其版本、数据目录和是否承载其他业务容器。
第一步:安装或确认 NVIDIA 主机驱动
选择安装方式
本示例使用 Ubuntu 的 apt 驱动包。不要在同一台主机上同时使用 NVIDIA .run 安装包和 apt 驱动包,否则容易出现内核模块、用户态库和包管理记录不一致的问题。
如果服务器由云厂商维护驱动,应优先遵循云厂商的驱动版本和升级方式。只有在确认没有可用驱动,或者厂商明确要求自行安装时,才执行下面的安装步骤。
sudo apt update
sudo apt install -y ubuntu-drivers-common pciutils
ubuntu-drivers devices
ubuntu-drivers devices 会列出当前 GPU 可用的驱动分支及推荐项。确认推荐版本后执行:
sudo ubuntu-drivers install
sudo reboot
重启后检查:
nvidia-smi
正常结果通常会包含 GPU 名称、驱动版本、显存总量、显存使用量和运行进程列表。这里的输出只说明主机驱动已经工作,还不能证明 Docker 容器能够使用 GPU。
驱动安装后的验证
可以补充检查内核模块和 GPU 数量:
lsmod | grep nvidia || true
nvidia-smi -L
nvidia-smi -L 应列出一块或多块 GPU。多卡服务器不要只看第一张卡,后续需要明确容器是使用全部 GPU,还是固定使用某个 GPU。
如果安装驱动后 nvidia-smi 报错,先执行:
dkms status
lsmod | grep nvidia || true
journalctl -k -b | grep -i nvidia | tail -n 50
重点检查以下情况:
- 虚拟机没有完成 GPU 直通;
- Secure Boot 阻止未签名内核模块加载;
- 内核升级后驱动模块没有成功编译;
- 机器中残留了另一种安装方式的驱动库;
- 驱动用户态库和内核模块版本不一致。
在驱动层没有恢复前,不要继续修改 Docker 配置,因为容器运行时无法修复主机本身不可见的 GPU。
第二步:安装 Docker Engine 和 Compose
如果 Docker 已经安装且版本满足要求,可直接进入下一步。没有 Docker 时,在 Ubuntu 22.04 上配置 Docker 官方软件源:
sudo apt update
sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
sudo gpg --dearmor --yes -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
source /etc/os-release
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu ${VERSION_CODENAME} stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
启动 Docker 并设置为开机启动:
sudo systemctl enable --now docker
sudo systemctl is-active docker
sudo docker version
sudo docker compose version
随后执行基础容器验证:
sudo docker run --rm hello-world
预期结果是容器打印欢迎信息并正常退出。这个测试只验证 Docker Engine 能拉取和启动普通容器,不涉及 GPU。
检查 Docker 数据目录和权限边界
sudo docker info --format 'DockerRootDir={{.DockerRootDir}}'
sudo docker info --format 'Driver={{.Driver}}'
GPU 镜像和模型文件可能占用大量磁盘空间。若 Docker 数据目录位于系统盘,部署前应确认容量和 inode 足够。迁移 Docker 数据目录会影响全部容器,不能在首次 GPU 配置中随意修改。
默认使用 sudo docker 可以避免给普通账号授予 Docker Socket 权限。将用户加入 docker 用户组等同于授予较高的主机控制能力,生产环境应根据运维权限模型决定,不要为了省略 sudo 而直接执行。
第三步:安装 NVIDIA Container Toolkit
NVIDIA Container Toolkit 负责把 GPU 设备、驱动库和相关运行时参数传递给容器。它不是 CUDA 镜像,也不会替代主机驱动。
先安装仓库签名工具并添加 NVIDIA 软件源:
sudo apt update
sudo apt install -y ca-certificates curl gnupg
sudo install -m 0755 -d /usr/share/keyrings
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
sudo gpg --dearmor --yes -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list > /dev/null
sudo apt update
sudo apt install -y nvidia-container-toolkit
如果主机原本存在 /etc/docker/daemon.json,先备份。NVIDIA 配置会修改 Docker 的运行时配置,重启 Docker 会影响当前容器连接,因此应选择业务低峰期执行。
sudo install -d -m 0755 /etc/docker
if [ -f /etc/docker/daemon.json ]; then
sudo cp -a /etc/docker/daemon.json \
"/etc/docker/daemon.json.bak.$(date +%Y%m%d%H%M%S)"
fi
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
确认 Docker 已注册 NVIDIA 运行时:
sudo docker info --format '{{json .Runtimes}}'
输出中应能看到 nvidia。如果只看到 runc,说明 Toolkit 尚未正确接入 Docker,先不要运行 GPU 容器。
第四步:使用匹配的 CUDA 镜像验证 GPU
GPU 容器依赖两个版本关系:
- 主机 NVIDIA 驱动必须能够支持所选 CUDA 用户态运行库;
- 业务框架版本必须与镜像中的 CUDA、cuDNN 或其他加速库相匹配。
下面使用 CUDA 12.2 的基础镜像作为示例。这个标签是示例版本,不代表所有服务器都必须使用它。若主机驱动较旧,应按照驱动支持范围选择更低版本的 CUDA 镜像;不要为了运行一个镜像而直接覆盖生产驱动。
sudo docker run --rm --gpus all \
nvidia/cuda:12.2.2-base-ubuntu22.04 \
nvidia-smi
预期结果是容器内打印出 GPU 名称、驱动版本和显存信息。容器内的 GPU 名称应与宿主机 nvidia-smi 的结果一致。
还可以只查看 GPU 列表:
sudo docker run --rm --gpus all \
nvidia/cuda:12.2.2-base-ubuntu22.04 \
nvidia-smi -L
这里的 --gpus all 适合首次验证。多卡正式运行时,应根据业务需要限制 GPU 范围。例如只分配编号为 0 的 GPU:
sudo docker run --rm --gpus '"device=0"' \
nvidia/cuda:12.2.2-base-ubuntu22.04 \
nvidia-smi -L
nvidia-smi 能够执行,主要证明设备注入和驱动库挂载正常;它不等同于业务框架已经能够完成推理或训练。正式验收还要使用业务镜像执行一次实际的模型加载、计算或健康检查。
不要误读 nvidia-smi 的 CUDA 字段
nvidia-smi 输出中的 CUDA Version 通常表示当前驱动能够兼容的 CUDA 上限,不代表主机已经安装了完整 CUDA Toolkit,也不代表容器内业务一定使用了这个版本。最终以容器镜像中的 CUDA 用户态库和应用框架版本为准。
如果出现类似 CUDA 版本不兼容的报错,优先选择与当前驱动匹配的镜像标签。升级主机驱动会影响所有 GPU 容器,应先进行兼容性评估和回滚准备。
第五步:用 Compose 固化 GPU 容器配置
单次 docker run 适合验证,正式部署建议使用 Compose 固化镜像版本、GPU 数量、环境变量、模型目录和重启策略。
创建测试目录:
sudo install -d -m 0755 /opt/gpu-runtime-check
sudo install -d -m 0755 /srv/gpu-app/models
sudo install -d -m 0755 /srv/gpu-app/logs
创建 /opt/gpu-runtime-check/compose.yaml:
services:
gpu-runtime-check:
image: nvidia/cuda:12.2.2-runtime-ubuntu22.04
container_name: gpu-runtime-check
environment:
NVIDIA_VISIBLE_DEVICES: all
NVIDIA_DRIVER_CAPABILITIES: compute,utility
command:
- bash
- -lc
- nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv,noheader && sleep 3600
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu
restart: "no"
先检查 YAML 是否能被 Compose 解析:
cd /opt/gpu-runtime-check
sudo docker compose config
配置无误后启动:
sudo docker compose up -d
sudo docker compose ps
sudo docker compose logs --tail=100 gpu-runtime-check
预期状态为容器处于运行状态,日志中能看到 GPU 名称、驱动版本和显存总量。进一步进入容器检查:
sudo docker compose exec gpu-runtime-check nvidia-smi
如果业务只需要一张 GPU,可以把 count: all 改为 device_ids,例如:
deploy:
resources:
reservations:
devices:
- driver: nvidia
device_ids:
- "0"
capabilities:
- gpu
同一个设备声明中不要同时使用 count 和 device_ids。正式应用中还应把镜像替换为经过验证的业务镜像,并尽量固定明确的版本标签;对有供应链要求的环境,可以在验证镜像后固定其 digest。
加入模型目录和应用端口
GPU 运行时验证通过后,才加入业务模型和端口。一个典型业务服务需要考虑以下设置:
- 模型目录尽量以只读方式挂载;
- 模型缓存、临时文件和日志使用独立的可写目录;
- 只暴露业务真正需要的端口;
- 管理端口不要直接绑定到公网;
- 密钥、令牌和数据库密码不要直接写入 Compose 文件;
- 不要使用
--privileged代替正常的 GPU 设备声明。
例如,业务 Compose 配置中的相关部分可以写成:
services:
gpu-app:
image: registry.example.com/team/gpu-app:1.0.0
environment:
NVIDIA_VISIBLE_DEVICES: all
NVIDIA_DRIVER_CAPABILITIES: compute,utility
volumes:
- /srv/gpu-app/models:/models:ro
- /srv/gpu-app/logs:/var/log/gpu-app
ports:
- "127.0.0.1:8080:8080"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities:
- gpu
上面的镜像地址、端口和目录都是示例。应用实际监听端口、模型路径和启动命令必须以业务镜像的说明为准。若需要让外部客户端访问,应先在服务器防火墙和云安全组中只放行指定业务端口,而不是把所有端口绑定到 0.0.0.0。
每一步的结果检查
完成 GPU 运行时后,应按从主机到应用的顺序验证,避免只看到容器启动就认为部署成功。

主机层检查
nvidia-smi
nvidia-smi -L
确认 GPU 数量、名称、驱动版本和显存容量符合服务器规格。
Docker 层检查
sudo systemctl is-active docker
sudo docker version
sudo docker compose version
sudo docker info --format '{{json .Runtimes}}'
确认 Docker 服务为 active,Compose 插件可用,并且运行时列表中包含 NVIDIA。
容器层检查
sudo docker run --rm --gpus all \
nvidia/cuda:12.2.2-base-ubuntu22.04 \
nvidia-smi -L
确认容器可以看到预期的 GPU 数量。若生产环境只分配一张卡,应使用固定设备参数再次验证,避免开发阶段使用全部 GPU 而上线后产生资源争抢。
业务层检查
进入业务容器执行应用自带的健康检查、模型加载检查或最小推理请求。例如业务镜像存在 /healthz 接口时,可以使用类似命令:
sudo docker exec gpu-app curl -fsS http://127.0.0.1:8080/healthz
实际接口路径由应用定义,不能把 /healthz 当成所有镜像的通用路径。业务层至少应确认:
- 应用进程启动并持续运行;
- 模型文件能够读取;
- 框架报告 CUDA 可用;
- 一次最小计算或推理可以完成;
- GPU 显存出现符合预期的使用变化;
- 日志没有持续出现驱动、CUDA 或显存分配错误。
主机侧可以在测试期间观察:
watch -n 2 nvidia-smi
如果只是容器启动但显存始终为零,可能只是应用尚未加载模型,也可能是应用实际运行在 CPU 上,需要结合应用日志和框架自检结果判断。
常见失败处理
lspci 看不到 NVIDIA 设备
这属于硬件或虚拟化层问题,常见原因包括:
- 购买的实例规格不包含 GPU;
- GPU 直通未启用;
- 云平台需要单独安装厂商驱动;
- 裸金属服务器中的 GPU 未正确插入或未被 BIOS 识别。
此时继续安装 Toolkit 没有意义。先让服务器在主机层看到设备,再进行驱动安装。
nvidia-smi 命令不存在或无法连接驱动
如果命令不存在,说明驱动工具没有安装或 PATH 不完整。如果提示无法与 NVIDIA 驱动通信,重点检查内核模块、Secure Boot、内核头文件和驱动安装来源。
可以查看:
lsmod | grep nvidia || true
dkms status
journalctl -k -b | grep -i nvidia | tail -n 50
不要直接执行驱动卸载和全量重装。先确认服务器是否还有其他 GPU 业务,以及当前驱动是由 apt、云厂商镜像还是其他方式安装。生产环境优先通过云平台快照或已验证的系统镜像回滚。
apt update 找不到 NVIDIA Toolkit
先检查仓库文件和签名密钥:
apt-cache policy nvidia-container-toolkit
cat /etc/apt/sources.list.d/nvidia-container-toolkit.list
getent hosts nvidia.github.io
如果是 404、TLS 超时或 DNS 失败,应分别处理仓库地址、出口网络和时间同步。不要为了绕过错误而关闭 GPG 校验或安装不明来源的软件包。
Docker 中没有 nvidia 运行时
检查:
sudo docker info --format '{{json .Runtimes}}'
sudo systemctl status docker --no-pager
sudo journalctl -u docker -n 100 --no-pager
确认 nvidia-container-toolkit 已安装,然后重新执行:
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
如果 Docker 重启失败,先读取日志,不要反复重启。若本次修改前已经存在 daemon.json,按照备份文件恢复,再启动 Docker。恢复配置时要确认原文件中是否包含其他业务需要的 Docker 参数。
容器启动但提示 CUDA 或驱动不兼容
这通常不是端口或 Compose 问题,而是主机驱动和容器用户态 CUDA 的版本边界不匹配。处理顺序建议如下:
- 记录主机
nvidia-smi的驱动版本; - 确认业务镜像中的 CUDA、cuDNN 和框架版本;
- 更换到与当前驱动兼容的镜像标签;
- 重新执行最小
nvidia-smi容器测试; - 再启动完整业务容器。
不要为了适配单个业务镜像而立即升级驱动,尤其是同一台服务器上存在多个 GPU 应用时。
镜像拉取慢或超时
马来西亚服务器的出口线路、DNS 和目标仓库位置会影响首次拉取速度。先判断是普通镜像也失败,还是只有某个大镜像失败:
sudo docker pull hello-world
sudo docker pull nvidia/cuda:12.2.2-base-ubuntu22.04
如果普通镜像正常,而 CUDA 或业务镜像超时,检查镜像仓库访问策略、磁盘写入速度和剩余空间。生产环境可以使用经过审核的区域镜像仓库或内部仓库,并固定镜像版本和 digest,避免同一标签内容变化造成重复验证。
容器能看到 GPU,但业务仍使用 CPU
GPU 可见不代表应用一定使用 GPU。常见原因有:
- 框架安装的是 CPU 版本;
- 应用环境变量禁用了 CUDA;
- 模型加载失败后自动降级到 CPU;
- 容器只注入了
utility能力,没有注入compute; - GPU 被其他进程占满,业务初始化失败;
- 多卡选择参数与业务框架的设备编号不一致。
检查容器环境和应用日志:
sudo docker exec gpu-app env | grep -E 'CUDA|NVIDIA' || true
sudo docker logs --tail=200 gpu-app
nvidia-smi
业务镜像应使用与其框架匹配的 GPU 版本,不能只根据主机安装了 NVIDIA 驱动就断定应用具备 CUDA 计算能力。
验收与回滚检查项
验收清单
- [ ] 服务器为 GPU 实例或已完成 GPU 直通,
lspci能看到 NVIDIA 设备。 - [ ]
nvidia-smi能在主机上正常运行,并列出正确的 GPU 和显存。 - [ ] Docker、containerd 和 Compose 插件安装完成,服务状态为 active。
- [ ]
docker info的运行时列表中包含nvidia。 - [ ]
docker run --gpus all ... nvidia-smi能在容器内执行。 - [ ] 正式业务镜像使用了与主机驱动兼容的 CUDA 和框架版本。
- [ ] 模型目录、日志目录和 Docker 数据目录有足够空间。
- [ ] 业务容器只暴露必要端口,模型目录按需设置为只读。
- [ ] 业务健康检查、最小推理或计算测试通过。
- [ ] 通过
nvidia-smi观察到业务进程和显存使用符合预期。 - [ ] 已记录镜像标签或 digest、驱动版本、Compose 文件和关键目录位置。
回滚清单
首次验证失败时,优先回滚测试容器和本次新增配置,不要直接删除驱动或清空 Docker 数据目录。
cd /opt/gpu-runtime-check
sudo docker compose down
这里不要追加 -v,避免误删命名卷中的业务数据。确认不再需要测试镜像后,才考虑清理镜像:
sudo docker image rm nvidia/cuda:12.2.2-runtime-ubuntu22.04 2>/dev/null || true
sudo docker image rm nvidia/cuda:12.2.2-base-ubuntu22.04 2>/dev/null || true
Docker 配置回滚应按安装前的备份状态恢复,并在恢复后检查:
sudo systemctl restart docker
sudo systemctl is-active docker
sudo docker info --format '{{json .Runtimes}}'
如果服务器上还有其他 GPU 容器,不要直接卸载 NVIDIA Container Toolkit。驱动回滚也不建议通过盲目执行 apt purge 完成,应使用云平台快照、系统镜像或已验证的驱动版本恢复。完成回滚后,重新执行普通 Docker 容器检查和主机 nvidia-smi,确认原有业务没有受到影响。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9269.html



