KVM中的GPU直通依赖哪些硬件与系统条件,如何验证设备已分配?
很多人看到虚拟机里出现了显卡名称,就认为 GPU 已经完成直通。实际上,虚拟机可能只看到了 QEMU 模拟的 VGA 设备,或者虽然识别到了物理 GPU,但图形程序仍在使用软件渲染。真正的 KVM GPU 直通,需要主机硬件支持 IOMMU,Linux 主机启用 VFIO 隔离设备,再由 QEMU/libvirt 将 PCI 设备映射给虚拟机,最后还要在虚拟机内部确认驱动和图形任务确实使用了该设备。
判断设备是否“已分配”不能只看虚拟机管理器中的配置项。较完整的验证链路应当同时满足:主机的 IOMMU 已启用、GPU 所在 IOMMU 分组可独立隔离、主机使用 vfio-pci 而不是宿主机显卡驱动、虚拟机 XML 存在对应的 PCI 设备、客户机能看到相同的 PCI 设备,并且图形 API 或计算任务返回的渲染器确实是这块 GPU。
概念边界:GPU 直通不等于虚拟机看到了显卡
三类常见 GPU 使用方式
KVM 环境中的“显卡可见”可能对应不同机制,不能把它们混为一谈。
| 方式 | 设备实际归属 | 虚拟机看到的设备 | 典型用途 | 是否属于完整 GPU 直通 |
|---|---|---|---|---|
| 模拟 VGA 或 QXL | 由 QEMU 模拟 | 虚拟显卡 | 安装系统、基础桌面、远程控制台 | 否 |
| VirtIO-GPU 等半虚拟化设备 | 主机提供虚拟图形接口 | VirtIO 或其他虚拟设备 | 普通桌面、轻量图形 | 否 |
| PCI GPU 直通 | 物理 GPU 交给单个虚拟机 | 物理 GPU 的 PCI 设备及厂商信息 | CUDA、OpenCL、3D、视频处理、专业图形 | 是 |
| vGPU、SR-IOV、MIG 等切分方式 | 物理 GPU 被划分为多个逻辑实例 | 虚拟功能或逻辑实例 | 多虚拟机共享 GPU | 不完全等同于整卡直通 |
完整直通的核心特征是:客户机驱动直接控制被分配的物理 GPU,GPU 的显存、PCI BAR、命令队列和中断等资源不再由主机的普通图形驱动代为处理。虚拟机仍然由 KVM 管理 CPU 和内存,但 GPU 的主要工作路径绕过了软件模拟层。
“分配成功”和“正在使用”是两个判断
例如,虚拟机的 lspci 能列出一块 NVIDIA 或 AMD 显卡,只能说明 PCI 设备已经暴露给客户机;如果客户机驱动没有加载,或者桌面仍使用 VirtIO 显卡,GPU 可能处于可见但未使用的状态。
因此应区分三个层级:

- 主机隔离成功:主机不再用自身的图形驱动占用该 GPU,设备绑定到
vfio-pci。 - 虚拟机分配成功:QEMU/libvirt 的配置中存在该 GPU 的 PCI 地址,客户机能够枚举到它。
- 业务使用成功:客户机驱动正常工作,
glxinfo、vulkaninfo、nvidia-smi或实际计算程序返回的是直通 GPU,而不是llvmpipe、VirtIO 或其他虚拟渲染器。
只有第三层才能证明“应用已经用上了 GPU”。
工作机制:KVM、IOMMU、VFIO 和 QEMU如何配合
IOMMU负责限制设备的 DMA 范围
GPU 不只通过 CPU 访问内存,还会直接发起 DMA 操作。如果没有 IOMMU,设备可能访问主机中不属于该虚拟机的内存区域,设备直通会带来严重的隔离风险。
IOMMU 位于 PCIe 设备和物理内存之间,负责把设备发出的 DMA 地址转换到允许的物理内存范围。虚拟机运行时,QEMU 为 GPU 建立属于该虚拟机的 IOMMU 映射,GPU 只能访问被授权的内存区域。
常见平台名称如下:
| 平台 | CPU 虚拟化扩展 | IOMMU 名称 | Linux 启动参数示例 |
|---|---|---|---|
| Intel | VT-x | VT-d | intel_iommu=on |
| AMD | AMD-V | AMD-Vi | amd_iommu=on |
VT-x 或 AMD-V 主要解决 CPU 虚拟化问题,不能单独证明 PCI 设备可以安全直通。GPU 直通同时需要 CPU 虚拟化、IOMMU、主板固件以及内核驱动链路配合。
VFIO负责把设备从主机驱动中隔离出来
Linux 中,VFIO 是向用户空间安全暴露硬件设备的框架,QEMU 通常通过 vfio-pci 访问被分配的 PCI 设备。
工作顺序可以简化为:
- 主机内核发现 GPU 及其相关 PCI 功能。
- IOMMU 将设备放入一个或多个隔离分组。
vfio-pci接管该设备,主机的 NVIDIA、AMD 或 Nouveau 等图形驱动不再占用它。- QEMU 通过 VFIO 获取设备访问权限。
- KVM 为虚拟机提供 CPU 虚拟化,QEMU 将 GPU 的 PCI 配置空间和设备资源呈现给客户机。
- 客户机加载厂商驱动,直接向该 PCI 设备提交图形或计算任务。
这里的“接管”不是把 GPU 复制一份,而是改变设备控制权。一个完整的物理 GPU 通常不能在同一时间既由主机普通图形驱动控制,又由虚拟机独占控制。
GPU通常包含多个PCI功能
一块显卡可能不只有一个 PCI 功能。常见情况包括:

0000:65:00.0:VGA、3D 或显示控制器;0000:65:00.1:HDMI/DisplayPort 音频;- 其他功能:USB-C 控制器、USB 控制器或特殊管理功能。
实际设备以主机的 lspci 和 IOMMU 分组结果为准。只分配 .0 可能导致客户机没有显卡音频,某些 GPU 还可能因为关联功能未处理而无法正常初始化。也不能简单地把同一分组中的所有设备都交给虚拟机,必须先确认其中是否有主机存储控制器、网卡或其他关键设备。
影响直通结果的硬件与系统条件
CPU和主板必须同时支持虚拟化与IOMMU
硬件层面至少要核对以下项目:
| 条件 | 需要确认的内容 | 不满足时的表现 |
|---|---|---|
| CPU 虚拟化 | Intel VT-x 或 AMD-V 已启用 | KVM 无法正常创建或运行虚拟机 |
| IOMMU | Intel VT-d 或 AMD-Vi 已启用 | GPU 无法安全建立 DMA 隔离 |
| 主板固件 | 启用 IOMMU、虚拟化相关选项 | 内核参数存在但系统没有有效 IOMMU |
| PCIe 插槽 | GPU 插槽与主板拓扑稳定,带宽满足业务 | 设备降速、枚举异常或启动不稳定 |
| Above 4G Decoding | 多数新 GPU 直通环境建议启用 | BAR 资源不足、设备初始化失败 |
| GPU 重置能力 | 设备能够在虚拟机停止后正确复位 | 首次启动正常,第二次启动失败 |
| 电源与散热 | GPU 在持续负载下供电、散热充足 | 驱动重置、掉卡或虚拟机异常 |
Above 4G Decoding 常用于为大尺寸 PCI BAR 分配地址,尤其是新款 GPU 或多设备环境。它不是所有平台上都绝对必需,但出现 BAR 分配失败、Code 12 或设备初始化异常时,应优先核对。
GPU 的复位能力则经常被忽略。某些消费级显卡在虚拟机关闭后无法彻底回到初始状态,导致下一次启动失败。这通常不是 IOMMU 没有启用,而是设备自身或主板固件的 FLR、总线复位支持不完整。更新固件有时能够改善,但不能把它视为通用保证。
IOMMU分组决定设备能否安全独立分配
IOMMU 不是按“用户想分配的设备”自动隔离,而是按照硬件拓扑形成 IOMMU group。若 GPU 与其他设备位于同一分组中,系统无法证明只隔离其中一个设备就足够安全。
可以把它理解为一个带门的房间:如果 GPU 和某个网卡共用同一扇门,系统不能只把 GPU 锁在房间里,而把网卡留给主机。只有硬件和 ACS 能够提供更细的隔离,设备才可能被单独分配。
常见处理顺序是:
- 更换 PCIe 插槽,观察分组是否改变;
- 检查主板 BIOS 中的 ACS、IOMMU 或相关 PCIe 选项;
- 选择拓扑更适合直通的主板或服务器平台;
- 谨慎评估 ACS override。
ACS override 可能让系统显示出更细的逻辑分组,但它并不会凭空增加硬件隔离能力。对于承载敏感数据或多租户虚拟机的环境,不应仅依赖这种方式判断隔离已经成立。
主机图形输出会影响绑定策略
如果主机只有一块 GPU,且本地控制台依赖它,绑定到 vfio-pci 后主机可能失去本地图形输出。主机本身仍可能运行,但显示器黑屏,远程管理也可能受到启动阶段配置影响。
在修改内核参数、显卡绑定规则或 initramfs 前,应当:
- 保留远程 SSH 或带外管理通道;
- 备份引导配置和相关绑定文件;
- 确认主机有第二块显卡、串口控制台或远程管理方式;
- 记录原来的驱动绑定状态;
- 提前准备回滚方案。
回滚通常是移除 IOMMU 或 VFIO 绑定参数、恢复原显卡驱动配置并重建 initramfs,然后重启主机。绑定主 GPU 的操作不适合在没有远程控制台的生产服务器上直接尝试。
系统软件要形成完整链路
主机通常需要具备以下软件条件:
- Linux 内核启用 KVM、IOMMU 和 VFIO;
kvm_intel或kvm_amd模块正常加载;vfio、vfio_pci、vfio_iommu_type1等模块可用;- QEMU 支持 PCI host device;
- libvirt 配置使用正确的 PCI 地址;
- 客户机安装与 GPU 型号匹配的驱动;
- 客户机中的图形程序或计算程序选择了直通 GPU。
内核启动参数可以通过以下命令查看:
cat /proc/cmdline
Intel 平台的示例结果可能包含:
BOOT_IMAGE=/vmlinuz ... intel_iommu=on iommu=pt
AMD 平台可能包含:
BOOT_IMAGE=/vmlinuz ... amd_iommu=on iommu=pt
iommu=pt 常用于让未直通设备采用直通映射模式,但它不能替代 intel_iommu=on 或 amd_iommu=on。不同发行版的引导配置文件和重建命令可能不同,不能只复制另一套系统的修改命令。修改前应备份 /etc/default/grub、引导项和 initramfs 配置,并确认重启后的远程恢复路径。
验证方法:从主机到客户机逐层确认
第一步:确认主机识别到了正确的GPU
先列出显示控制器和相关音频功能:
lspci -nn | grep -Ei 'vga|3d|display|audio'
示例结果:
65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]
方括号中的厂商 ID 和设备 ID 是后续确认设备身份的重要依据。再查看当前驱动:
lspci -nnk -s 0000:65:00.0
lspci -nnk -s 0000:65:00.1
直通前或虚拟机运行期间,理想的关键字段类似:
Kernel driver in use: vfio-pci
如果显示:
Kernel driver in use: nvidia
或:
Kernel driver in use: amdgpu
说明该功能仍由主机厂商驱动使用,不能直接据此认定它已经被虚拟机接管。某些发行版可能只显示 Kernel modules 而没有 Kernel driver in use,这时应结合 VFIO 设备节点和虚拟机运行状态继续确认。
检查 KVM、VFIO 模块:
lsmod | grep -E '^(kvm|kvm_intel|kvm_amd|vfio|vfio_pci|vfio_iommu_type1)'
检查 IOMMU 内核日志:
sudo dmesg | grep -Ei 'DMAR|IOMMU|AMD-Vi|interrupt remapping|vfio'
Intel 平台常见有效迹象包括 DMAR: IOMMU enabled;AMD 平台可能出现 AMD-Vi: Enabled 或类似的 IOMMU 初始化信息。不同内核版本的日志文字会变化,不能只用一条固定字符串判断。
第二步:确认GPU所在的IOMMU分组
可以用下面的命令查看 GPU 所在分组及同组设备:
GPU_BDF=0000:65:00.0
GROUP=$(basename "$(readlink /sys/bus/pci/devices/$GPU_BDF/iommu_group)")
echo "IOMMU group: $GROUP"
for dev in /sys/kernel/iommu_groups/"$GROUP"/devices/*; do
lspci -nn -s "${dev##*/}"
done
示例输出:
IOMMU group: 18
65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]
这种结果通常比较容易处理,因为图形功能和音频功能处于同一组,可以一起规划。
如果输出还包括如下设备:
65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]
65:00.2 USB controller [0c03]: Example USB Controller [1234:5680]
65:00.3 Serial bus controller [0c80]: Example Controller [1234:5681]
需要根据用途决定是否全部分配。若同组中出现主机根文件系统使用的 NVMe 控制器、主网卡或其他关键设备,就不应贸然绑定整个分组。
第三步:确认libvirt或QEMU确实配置了PCI设备
使用 libvirt 管理虚拟机时,可以查看虚拟机 XML:
virsh dumpxml vm-gpu | grep -E -A12 -B2 '<hostdev|<source|<address type=.pci'
完整配置中的关键部分通常类似:
<hostdev mode='subsystem' type='pci' managed='yes'>
<driver name='vfio'/>
<source>
<address domain='0x0000' bus='0x65' slot='0x00' function='0x0'/>
</source>
</hostdev>
<hostdev mode='subsystem' type='pci' managed='yes'>
<driver name='vfio'/>
<source>
<address domain='0x0000' bus='0x65' slot='0x00' function='0x1'/>
</source>
</hostdev>
其中:
bus='0x65' slot='0x00' function='0x0'对应主机的0000:65:00.0;function='0x1'对应同一 GPU 的音频功能;managed='yes'表示由 libvirt 在虚拟机启动和关闭时负责设备解绑、绑定和恢复。
配置地址必须和主机当前 PCI 地址一致。更换插槽、BIOS 重新枚举或设备拓扑变化后,地址可能改变。不要只按设备名称匹配,例如“Example GPU”,应核对域、总线、插槽、功能号以及设备 ID。
也可以检查 libvirt 能否读取该 PCI 设备:
virsh nodedev-list | grep -E 'pci_0000_65_00_0|pci_0000_65_00_1'
虚拟机启动后,再次在主机执行:
lspci -nnk -s 0000:65:00.0
如果 libvirt 使用 managed='yes',设备在虚拟机运行期间通常应由 vfio-pci 接管;虚拟机关机后,libvirt 可能把它重新绑定到原来的主机驱动。也就是说,检查时必须记录虚拟机处于运行还是关闭状态。
第四步:在Linux客户机确认设备和驱动
进入虚拟机后,先查看 PCI 设备:
lspci -nnk | grep -A3 -Ei 'VGA compatible controller|3D controller|Display controller|Audio device'
示例结果:
00:05.0 3D controller [0302]: Example GPU [1234:5678]
Subsystem: Example Board [1234:1111]
Kernel driver in use: example_gpu
Kernel modules: example_gpu
00:06.0 Audio device [0403]: Example HDMI Audio [1234:5679]
Kernel driver in use: snd_hda_intel
这里应重点核对三项:
- 厂商和设备 ID 与主机侧的直通设备一致;
- 客户机加载了匹配的厂商驱动;
- 设备不是只有名称而没有
Kernel driver in use。
如果是 NVIDIA 驱动环境,可以执行:
nvidia-smi --query-gpu=name,driver_version,pci.bus_id --format=csv
如果驱动正常,通常能够返回 GPU 名称、驱动版本和 PCI 总线地址。对于其他 GPU 或通用图形环境,可以查看 OpenGL 和 Vulkan 的实际渲染器:
glxinfo -B
vulkaninfo --summary
这些工具可能并未预装。重点不是命令本身是否存在,而是结果中的渲染器字段。若出现:
OpenGL renderer string: llvmpipe
通常表示当前 OpenGL 程序在使用 CPU 软件渲染。若结果显示 VirtIO GPU,而不是被直通的物理 GPU,也说明该程序没有走直通设备。
还可以查看 DRM 设备:
ls -l /dev/dri/by-path/
对于同时存在 VirtIO 显卡和直通 GPU 的虚拟机,桌面环境可能默认选错设备。此时即使 lspci 已经确认 GPU 存在,仍需指定渲染器或让实际业务程序选择正确的设备。
第五步:Windows客户机需要检查驱动和实际渲染器
Windows 客户机可以通过设备管理器确认“显示适配器”下出现了直通 GPU,并检查设备状态是否正常。PowerShell 中也可以执行:
Get-PnpDevice -Class Display | Format-Table -AutoSize
再通过“运行”窗口执行:
dxdiag
在“显示”或“渲染”相关页面核对显卡名称、驱动状态和 Direct3D 功能。设备管理器中存在显卡名称并不代表所有功能都可用;如果出现驱动错误、代码 12、代码 43 或 Direct3D 功能不可用,还需要区分是 PCI 设备已经分配但客户机驱动初始化失败,还是设备根本没有分配成功。
一组结果如何得出结论
可以按下面的对应关系判断:

| 检查位置 | 关键证据 | 可得出的结论 |
|---|---|---|
| 主机内核 | IOMMU 初始化日志正常 | DMA 隔离基础已建立 |
| 主机 PCI | GPU 和相关功能使用 vfio-pci | 设备没有被主机普通显卡驱动占用 |
| IOMMU 分组 | GPU 所在分组可独立处理 | 设备具备独立分配条件 |
| 虚拟机 XML | hostdev 地址与主机 BDF 一致 | QEMU/libvirt 已配置该设备 |
| Linux 客户机 | lspci 看到相同 ID,驱动已加载 | GPU 已呈现并可由客户机控制 |
| 图形或计算程序 | 返回物理 GPU,而非 llvmpipe 或 VirtIO | 业务负载正在使用直通 GPU |
例如,主机显示 vfio-pci,XML 中有 0000:65:00.0,客户机也能看到对应设备,但 glxinfo -B 返回 llvmpipe,结论应是“设备已分配,图形加速尚未生效”,而不是“GPU 直通完全成功”。
面向需要独占GPU资源的虚拟化计算场景,A5数据提供香港、美国等地区的物理GPU服务器,配置覆盖A100 80GB、RTX 4090等显卡,并搭配服务器级CPU、内存与NVMe存储,可为AI推理、模型测试、图像处理及图形加速任务提供硬件基础。结合不同地区的网络线路与带宽方案,A5数据也支持围绕业务访问范围和工作负载进行部署。
适用限制与判断边界
单GPU主机的维护风险更高
把主机唯一的 GPU 直通给虚拟机后,主机可能没有本地显示输出。若引导阶段或虚拟机启动配置出错,远程网络也可能尚未建立,维护难度会明显增加。生产环境更适合使用带外管理、第二块管理显卡或独立的主机控制台。
直通通常会限制迁移和硬件抽象
完整 PCI 直通依赖具体 GPU、PCI 地址、IOMMU 拓扑和客户机驱动。虚拟机迁移到另一台主机时,对端必须具有兼容的 GPU、相近的设备能力和匹配的驱动环境。许多依赖物理 PCI 设备的迁移、挂起、快照和恢复能力也会受到限制,不能按普通虚拟磁盘或虚拟网卡的方式理解。
设备复位问题可能在第二次启动才出现
某些 GPU 第一次启动可以正常工作,但虚拟机关闭后再次启动失败。这通常与 GPU 的 FLR、总线复位、显卡固件或主板实现有关。验证时应至少执行一次“启动虚拟机—运行图形或计算任务—正常关机—再次启动”的循环,不能只根据首次启动结果下结论。

GPU直通不会自动解决客户机驱动和应用选卡问题
客户机仍然需要正确安装厂商驱动,应用也可能在多显卡环境中选择错误的渲染器。桌面、远程桌面、容器、OpenGL、Vulkan、CUDA 或其他计算框架的选卡规则并不完全相同。lspci 证明的是设备存在,nvidia-smi 或图形 API 结果才更接近“业务正在使用”。
直通、vGPU和共享GPU的能力边界不同
整卡直通通常将一块物理 GPU 分配给一个虚拟机,不能同时让多个普通虚拟机独占同一块卡。如果业务需要多台虚拟机共享 GPU,应评估厂商提供的 vGPU、SR-IOV、MIG 或其他切分技术,并分别核对硬件型号、驱动、许可、调度和客户机支持情况。不能用整卡直通的验证方法直接替代这些模式的验收方法。
最终,最可靠的判断不是“虚拟机配置中有一行 GPU”,而是完成一条闭环证据链:主机 IOMMU 已启用,GPU 分组可隔离,主机侧由 vfio-pci 接管,libvirt 的 PCI 地址匹配,客户机加载了对应驱动,实际图形或计算程序返回了这块物理 GPU。只满足前几项时,应称为“设备已配置或已呈现”;只有业务层也确认使用,才可以判断 GPU 直通已经在目标工作负载中生效。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5902.html



