KVM配置PCIe设备直通前要确认哪些条件?IOMMU分组怎样检查

发布人:A5数据发布时间:2026-10-29 11:33阅读量:130

KVM能够正常创建并启动虚拟机,并不代表主机已经具备PCIe设备直通条件。PCIe直通至少要同时满足:处理器和主板支持IOMMU、固件已启用对应功能、Linux内核实际初始化IOMMU、目标设备所在IOMMU分组可以独立隔离、设备能够脱离宿主机驱动,并且宿主机不会因设备移交而失去管理网络或关键存储。

IOMMU分组可以通过/sys/kernel/iommu_groups/检查。重点不是“是否存在一个分组”,而是确认目标PCI地址属于哪个分组、同组还有哪些设备,以及这些设备能否整体从宿主机业务中移出。若目标网卡与宿主管理网卡、目标存储与宿主机根文件系统处于同一分组,通常就不具备直接交给虚拟机的安全前提。

先划清PCIe直通的概念边界

KVM主要负责处理器和内存虚拟化,QEMU或libvirt负责为虚拟机组织设备模型。PCIe直通则是把一块真实PCIe设备交给虚拟机使用,虚拟机中的驱动直接面对这块设备,而不是使用QEMU模拟出来的通用网卡、磁盘或显卡。

直通并不等于“把PCI地址写进虚拟机配置”。主机需要先通过IOMMU限制设备的DMA访问范围,再由VFIO把设备安全地交给用户态虚拟机进程。这里有几个容易混淆的对象:

对象作用是否等同于PCIe直通
KVM提供硬件辅助的CPU虚拟化否
IOMMU隔离PCIe设备的DMA访问是直通的关键基础,但本身不完成设备交付
VFIO将设备安全暴露给QEMU等用户态程序是常见的设备交付框架
IOMMU group表示硬件隔离边界是判断设备能否独立交付的重要依据
SR-IOV VF从支持SR-IOV的物理设备划分出的虚拟功能属于另一种设备虚拟化方式,不等同于整块PCIe设备直通

因此,/dev/kvm存在,只能说明KVM设备节点可用;它不能证明VT-d、AMD IOMMU、VFIO和IOMMU分组都已准备完成。

PCIe直通为什么依赖IOMMU分组

普通PCIe设备可以通过DMA直接访问主机内存。如果没有IOMMU约束,设备被交给虚拟机后,理论上可能访问不属于该虚拟机的内存区域,隔离边界就无法成立。

IOMMU负责把设备发出的DMA地址转换到指定的主机物理内存范围,并阻止越界访问。Linux再根据PCIe拓扑、ACS能力和平台固件信息,将能够保持相同隔离边界的设备划入一个IOMMU group。

PCIe直通为什么依赖IOMMU分组配图

可以把IOMMU group理解为“硬件能够独立隔离的最小设备集合”,而不是操作系统按照设备类型随意划分的目录。例如:

IOMMU Group 17:
03:00.0 VGA compatible controller
03:00.1 Audio device

这通常表示显卡的显示功能和音频功能处于同一隔离边界。即使用户只关心03:00.0,也不能只凭这个功能号判断它可以单独直通,往往需要把同一设备的相关功能一并纳入规划。

如果一个分组中出现以下情况,风险会明显增加:

  • 目标网卡与另一块宿主管理网卡、桥接设备或关键控制器同组;
  • 目标NVMe或HBA与宿主机根文件系统、日志盘或虚拟机存储同组;
  • 目标显卡与宿主机正在使用的显示控制器同组;
  • 分组中有多个不同用途的PCIe终端设备,无法同时从宿主机释放;
  • 依靠ACS override人为拆分分组,但没有确认底层硬件是否真的具备独立隔离能力。

ACS override可以改变Linux看到的分组结果,但它不一定增加真实的硬件隔离能力。实验环境中可以作为排查手段,生产环境或多租户环境不应仅因为“分组看起来分开了”就忽略安全边界。

实施前必须确认的条件

处理器、主板和固件条件

处理器需要支持硬件虚拟化,平台还需要支持IOMMU。不同厂商和主板的固件名称可能不同:

  • Intel平台常见为Intel Virtualization Technology和Intel VT-d;
  • AMD平台常见为SVM Mode和IOMMU或AMD IOMMU;
  • 服务器主板可能将IOMMU放在CPU、芯片组或PCIe相关菜单中;
  • 某些云服务器或虚拟化嵌套环境不会向当前系统透出真实IOMMU能力。

CPU虚拟化选项和IOMMU选项是两件事。只开启VT-x或SVM,能够帮助KVM运行虚拟机,但不一定能完成PCIe设备直通。

内核和VFIO条件

Linux内核需要识别IOMMU,并提供与当前内核相匹配的VFIO实现。常见模块包括:

  • vfio
  • vfio_pci
  • vfio_iommu_type1
  • 较新内核可能使用iommufd等接口

不同发行版和内核版本使用的后端并不完全相同,因此不宜只根据某一个模块名判断失败。更可靠的做法是确认当前系统能够加载相应VFIO模块,并检查内核日志是否出现初始化信息。

设备独占条件

普通PCIe直通通常要求设备由虚拟机独占。设备不能同时被宿主机驱动正常使用,又被虚拟机当作物理设备直接操作。

典型影响如下:

设备类型实施前额外确认常见业务风险
物理网卡宿主机是否依赖该接口进行SSH、管理、存储或心跳通信设备移交后宿主机网络中断
显卡是否为宿主机启动画面、远程桌面或控制台使用,是否包含音频功能宿主机失去显示或设备无法重置
NVMe或HBA设备是否承载宿主机根文件系统、日志、虚拟机镜像或其他服务宿主机启动失败或存储业务中断
USB控制器同一控制器下还有哪些USB端口和设备键盘、加密狗或外接存储一起失效
FPGA、加速卡是否有匹配的虚拟机驱动、复位机制和厂商运行库虚拟机重启后设备可能无法重新初始化
SR-IOV VF确认使用的是PF还是VF,以及PF是否仍由宿主机管理配置方式、分组和生命周期与整卡直通不同

网卡是最容易被忽略的业务条件。目标网卡一旦交给虚拟机,宿主机不会继续把它当作普通网络接口使用。至少应保留独立的管理路径,或者明确宿主机不再依赖该接口;不能在唯一远程管理网卡上直接尝试移交。

虚拟机和管理栈条件

虚拟机操作系统需要具备该设备的驱动。主机能够识别显卡、网卡或存储控制器,不代表Windows或Linux虚拟机中也能直接使用它。

还需要确认:

  • 使用的QEMU、libvirt和虚拟机机型支持所选设备;
  • 虚拟机固件模式与设备要求匹配,例如某些显卡工作时更依赖UEFI环境;
  • 虚拟机中的驱动、固件和用户态运行库版本相容;
  • libvirt、QEMU进程具备访问VFIO设备节点的权限;
  • SELinux、AppArmor或其他安全策略不会阻止设备打开;
  • 业务是否依赖虚拟机在线迁移、暂停恢复或快速重启。

虚拟机是否需要启用“虚拟IOMMU”要单独判断。基础的主机PCIe直通主要依赖宿主机IOMMU,虚拟机内不一定要配置IOMMU;只有在虚拟机还要继续向内部工作负载提供设备隔离、嵌套VFIO等能力时,才需要额外设计。

按顺序验证主机环境

1.确认系统、CPU虚拟化和KVM

先记录发行版、内核版本和CPU虚拟化标志:

uname -a
cat /etc/os-release
lscpu | grep -E 'Architecture|Virtualization|Flags'
grep -woE 'vmx|svm' /proc/cpuinfo | sort -u
test -e /dev/kvm && echo "/dev/kvm exists" || echo "/dev/kvm missing"
lsmod | grep -E '^(kvm|kvm_intel|kvm_amd)'

Intel平台通常会看到vmx,AMD平台通常会看到svm。/dev/kvm存在且对应模块已加载,说明KVM基础环境大致可用。

若没有/dev/kvm,应先检查:

  1. BIOS或UEFI是否关闭了CPU虚拟化;
  2. 当前系统是否运行在不支持嵌套虚拟化的上层虚拟机中;
  3. kvm_intel或kvm_amd是否与当前CPU匹配;
  4. 内核是否被裁剪,或者模块未安装。

这一步通过后,也不能跳过IOMMU检查。

2.确认固件和内核是否实际启用IOMMU

查看当前内核启动参数和内核日志:

cat /proc/cmdline
dmesg | grep -Ei 'DMAR|IOMMU|AMD-Vi|IVRS'
journalctl -k -b | grep -Ei 'DMAR|IOMMU|AMD-Vi|IVRS'

Intel平台常见的内核参数是:

intel_iommu=on

AMD平台常见的内核参数是:

amd_iommu=on

某些发行版和平台会默认启用IOMMU,因此/proc/cmdline中没有显式参数,不一定代表IOMMU关闭,最终应以启动日志和分组目录为准。iommu=pt可能用于改变宿主机设备的默认映射策略,但它不是开启IOMMU的替代参数,也不应在不了解平台行为时盲目追加。

示例日志可能类似:

DMAR: IOMMU enabled
AMD-Vi: Initialized for Passthrough Mode

这些只是判断格式示例,实际日志名称会随CPU、内核和发行版变化。若没有相关日志且/sys/kernel/iommu_groups/为空,应回到固件选项、内核启动参数和平台限制进行核对。

修改GRUB或其他引导配置会影响下次启动,实施前应备份原配置,并安排维护窗口;如果修改后系统无法正常启动,应从引导菜单或备份配置恢复原内核参数。不要为了验证而直接覆盖引导文件。

3.枚举所有IOMMU分组

安装并使用pciutils后,可以通过下面的命令查看分组。该命令只读系统信息,不会解绑设备:

按顺序验证主机环境——3.枚举所有IOMMU分组配图

found=0

for group in /sys/kernel/iommu_groups/*; do
    [ -d "$group/devices" ] || continue
    found=1
    echo "IOMMU Group ${group##*/}:"

    for device in "$group"/devices/*; do
        [ -e "$device" ] || continue
        lspci -nn -s "${device##*/}"
    done

    echo
done

[ "$found" -eq 1 ] || echo "未发现可用的IOMMU分组,请检查固件、内核参数或平台是否透出IOMMU。"

示例输出:

IOMMU Group 7:
00:1f.0 ISA bridge [0601]: ...
00:1f.3 Audio device [0403]: ...

IOMMU Group 17:
03:00.0 VGA compatible controller [0300]: ...
03:00.1 Audio device [0403]: ...

IOMMU Group 18:
04:00.0 Ethernet controller [0200]: ...

确认目标设备时,应先使用完整PCI地址,例如03:00.0,再反查它所属的分组。不要只看设备名称,因为同一型号设备可能位于不同插槽、不同PCIe根端口下,分组结果也可能不同。

判断结果可以按以下方式处理:

分组结果初步判断
目标设备单独成组具备较好的独立隔离条件,还需检查驱动、复位和宿主机依赖
目标设备的多个功能在同组通常按整块设备或相关功能整体规划
与宿主机关键设备同组不宜直接移交,除非能明确处理整个分组且不影响宿主机
没有任何分组IOMMU尚未生效,或当前环境没有向系统提供IOMMU
使用ACS override后才分开不能把软件显示的分组直接当成真实硬件隔离证明

4.检查PCI地址、设备功能和宿主机驱动

针对目标设备,执行:

lspci -nn -s 03:00.0
lspci -nnk -s 03:00.0
lspci -nn | grep -E '^03:00\.'

将03:00.0替换为实际PCI地址。-nn显示设备类别和厂商设备ID,-k显示当前使用的内核驱动及可用模块。

示例输出可能是:

03:00.0 Ethernet controller [0200]: Vendor Device [1234:5678]
        Kernel driver in use: ixgbe
        Kernel modules: ixgbe
03:00.1 Ethernet controller [0200]: Vendor Device [1234:5679]
        Kernel driver in use: ixgbe

这里需要确认三个问题:

  1. 同一设备是否存在.0、.1等多个功能;
  2. 当前功能是否被宿主机驱动使用;
  3. 该驱动是否承载宿主机网络、显示、存储或监控业务。

“当前有宿主机驱动”不一定表示设备永远不能直通,但表示在移交前必须处理驱动占用和业务依赖。不要在唯一管理网卡、宿主机启动显卡或正在使用的存储控制器上直接尝试解绑。

还可以检查PCIe链路和NUMA归属,用于判断性能和拓扑条件:

lspci -vv -s 03:00.0 | grep -E 'LnkCap|LnkSta'
cat /sys/bus/pci/devices/0000:03:00.0/numa_node

LnkCap表示设备和链路的能力,LnkSta表示当前协商状态。如果设备支持PCIe较高代际或较宽链路,但实际协商到较低速率、较少通道,直通功能可能仍然正常,只是吞吐能力会受到影响。NUMA节点为-1通常表示系统未提供明确归属,不能单凭该值判断直通失败。

5.检查VFIO和虚拟化管理权限

可以先检查内核是否提供常见VFIO接口:

for module in vfio vfio_pci vfio_iommu_type1 iommufd; do
    if modinfo "$module" >/dev/null 2>&1; then
        echo "$module: available"
    else
        echo "$module: not found"
    fi
done

ls -ld /dev/vfio /dev/vfio/* 2>/dev/null

不同内核可能使用不同组合,不能简单要求四个模块全部存在。核心是当前QEMU/libvirt版本使用的VFIO路径可用,并且目标分组能够被合法打开。

如果使用libvirt,还应确认管理连接和PCI节点是否可见:

virsh uri
virsh nodedev-list --cap pci
virsh nodedev-dumpxml pci_0000_03_00_0

发行版中的QEMU运行账号可能是qemu、libvirt-qemu或其他专用账号,不能直接照抄某个账号名修改权限。SELinux或AppArmor启用时,应优先使用发行版和libvirt提供的策略调整方式,不要为了“验证能否打开设备”而对/dev/vfio/*执行宽泛的chmod,也不要直接关闭整套安全策略。

如何判断分组结果是否真的可用

看到目标设备独立成组,只能得到“隔离条件较好”的判断,还不能得到“可以稳定直通”的结论。至少还要把以下因素交叉核对:

  • 分组是否完整:同一设备的显示、音频、串行或其他功能是否被遗漏;
  • 宿主机是否依赖设备:网络、控制台、根存储、日志和监控是否使用它;
  • 设备是否可重置:部分消费级显卡、加速卡和旧设备缺少可靠的FLR或总线复位能力;
  • 虚拟机是否有驱动:设备能被主机识别,不代表客户机驱动可用;
  • 运行时是否有权限:QEMU进程是否能够打开VFIO设备;
  • 生命周期是否匹配:设备是否支持虚拟机重启、宿主机重启、暂停恢复和再次分配;
  • 性能拓扑是否合理:PCIe插槽、链路宽度、NUMA节点和CPU亲和性是否适合业务。

例如,03:00.0显卡和03:00.1音频功能同组,且宿主机使用另一块集成显卡作为控制台,这通常比目标显卡同时承担宿主机显示和虚拟机图形任务更容易规划。相反,如果目标网卡是唯一的SSH入口,即使它单独成组,也不应在远程维护窗口中直接移交。

适用限制与判断边界

PCIe直通更适合裸金属主机或能够明确控制PCIe设备的专用服务器。普通云主机、VPS或嵌套虚拟机中,即使客户拥有管理员权限,也可能无法看到物理PCI地址、IOMMU分组和VFIO设备节点;这种情况下需要由上层平台提供PCI直通或SR-IOV能力,不能靠客户机内安装KVM自行补齐。

直通设备通常还会限制以下能力:

  • 常规虚拟机在线迁移可能不可用,除非源端和目标端具备相同设备及专门的迁移支持;
  • 虚拟机快照、暂停恢复不一定包含设备内部状态;
  • 设备复位能力不足时,虚拟机重启后可能需要宿主机重启或重新初始化设备;
  • 一块设备通常不能同时被多个普通虚拟机独占使用;
  • 设备驱动、固件和虚拟机操作系统升级可能改变兼容性;
  • 将宿主机关键网络或存储移交给虚拟机,会扩大单个虚拟机故障对宿主机的影响范围。

最终可以用下面的判断顺序收敛结果:先确认CPU虚拟化和IOMMU已经在固件、内核日志中生效;再用/sys/kernel/iommu_groups/找到目标PCI地址的完整分组;随后核对同组设备、宿主机驱动和管理网络、存储依赖;最后确认VFIO权限、虚拟机驱动、复位能力和业务生命周期。如果分组不可独立隔离,或者设备移交会破坏宿主机的管理与存储基础,即使KVM本身运行正常,也应判定为当前环境不适合直接进行该设备的PCIe直通。

适用限制与判断边界配图

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖常规计算、AMD平台、GPU及存储型配置,可为KVM虚拟化和PCIe设备直通相关部署提供不同的硬件基础。香港和美国的GPU系列包含A100 80GB及RTX 4090等显卡选项;AMD服务器、NVMe存储和多地区网络资源,则可适配计算、数据处理及不同地区业务部署需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6376.html

相关推荐