Proxmox VE配置PCI直通需要检查哪些条件,怎样验证设备已分配给虚拟机?
PCI 直通的判断重点有两层:Proxmox VE(PVE)主机必须启用 IOMMU,并能把目标设备所在的 IOMMU 组安全地交给虚拟机;虚拟机配置中也必须实际添加该 PCI 设备。配置文件里出现设备地址,只能证明设置已写入,不能单独证明设备已被客户机识别。下面按首次部署的顺序,说明准备、配置、逐步验证和回滚方法。
对于涉及 GPU 等 PCIe 设备的计算场景,A5idc数据提供香港和美国 GPU 物理服务器,硬件选项包括 A100 80GB、RTX 4090,并搭配服务器 CPU、内存与 NVMe 存储,可为 AI 推理、模型测试和图像处理提供计算资源。不同地区的产品配置各有侧重,为需要 GPU 硬件的业务部署提供多种资源组合。
一、准备条件与风险确认
PCI 直通适用于需要让虚拟机直接使用主机 PCI/PCIe 设备的场景,例如独立显卡、HBA、网卡或 USB 控制器。设备交给虚拟机后,主机通常不能同时使用它;如果直通的是主机正在使用的网卡、存储控制器或显示设备,可能导致管理网络中断、磁盘不可用,甚至失去本地控制台画面。
操作前先确认以下条件:
- CPU 与主板固件支持 IOMMU;Intel 平台通常称为 VT-d,AMD 平台通常称为 AMD-Vi 或 IOMMU。CPU 的虚拟化扩展(Intel VT-x/AMD-V)与 IOMMU 是相关但不同的功能。
- 已在 BIOS/UEFI 中启用对应的 IOMMU 选项。选项名称随主板型号而异,不能仅凭 CPU 支持就假定固件已经开启。
- PVE 主机有可用的管理通道。若目标设备是主机唯一的管理网卡或显示设备,先准备其他网卡、IPMI/带外管理或本地控制台。
- 目标设备及其 IOMMU 组不会与主机启动盘、管理网卡等关键设备发生不可接受的冲突。
- 已记录虚拟机编号、目标设备 PCI 地址和当前主机配置,并确保重要虚拟机数据有可用备份。
PCI 直通会改变设备的使用归属。涉及网络、存储或主显示设备时,建议在维护窗口操作,并先核实有备用访问路径。不要为了让设备“看起来可直通”就随意启用 ACS override;这类绕过可能改变设备隔离边界,不能代替对真实 IOMMU 分组的检查。

二、确认目标设备和 IOMMU 分组
在 PVE 主机的 Shell 中查看 PCI 设备清单:
lspci -nn
输出中的方括号通常包含厂商 ID 与设备 ID,例如 [1234:5678];地址可能显示为 03:00.0。PCI 地址应以实际主机输出为准,下面的 0000:03:00.0 仅作格式示例。
进一步检查该设备的内核驱动和设备类别:
lspci -nnk -s 0000:03:00.0
重点记录:
- 设备地址,例如
0000:03:00.0; - 设备 ID;
Kernel driver in use当前使用的驱动;- 同一物理卡是否还有其他功能,例如显卡的音频功能。
若一块卡在 lspci 中出现多个功能地址,例如 03:00.0 和 03:00.1,不要只凭其中一个地址判断整块卡已经可用。后续应检查这些功能是否处于同一 IOMMU 组,以及是否需要一起交给虚拟机。
先查看内核是否已经创建 IOMMU 分组:
find /sys/kernel/iommu_groups/ -maxdepth 2 -type d
如有分组,可逐组列出其中的设备:
for d in /sys/kernel/iommu_groups/*/devices/*; do
[ -e "$d" ] || continue
printf 'Group %s: ' "$(basename "$(dirname "$(dirname "$d")")")"
lspci -nns "${d##*/}"
done
这段命令只读取 sysfs 和 PCI 清单,不会更改设备状态。重点看目标设备所在的组是否还包含其他设备。若同组设备无法分别隔离,或其中包含主机必须使用的设备,应暂停配置,先评估硬件插槽、固件设置和主机依赖关系;不要直接把整组设备交给虚拟机。

如果 /sys/kernel/iommu_groups/ 下没有有效分组,优先检查固件 IOMMU 设置和内核启动参数。没有分组时,继续配置虚拟机通常不能解决根因。
三、启用 IOMMU 并重启验证
先识别主机使用的引导方式,再修改对应的内核命令行。PVE 安装可能使用 GRUB,也可能使用 systemd-boot 管理的启动项;不要同时修改两个位置,也不要把示例参数盲目覆盖现有参数。
可先查看当前内核命令行:
cat /proc/cmdline
确认 PVE 启动项管理信息:
proxmox-boot-tool status
在确认使用 GRUB 的安装中,编辑 /etc/default/grub,在现有 GRUB_CMDLINE_LINUX_DEFAULT 参数后追加对应平台的参数:
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
Intel 示例使用 intel_iommu=on。AMD 平台将其换为:
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"
修改后更新 GRUB:
update-grub
若安装使用 systemd-boot 管理启动项,应按该安装方式编辑 /etc/kernel/cmdline,保留原有内容,只追加对应平台的 IOMMU 参数,然后执行:
proxmox-boot-tool refresh
iommu=pt 是常见的辅助参数,不是所有配置都必须具备的条件。实际需要的参数与 CPU 平台及内核版本有关;如果当前 PVE 内核或固件对参数有特殊要求,应以对应环境的配置为准。
重启前应保存修改,并确认有管理控制台可在启动失败时恢复配置。重启后检查:
cat /proc/cmdline
dmesg | grep -Ei 'DMAR|IOMMU'
预期结果是 /proc/cmdline 中能看到设置的参数,内核日志中能找到平台相关的 IOMMU 初始化信息。不同平台和内核版本的日志措辞并不完全相同,不能只依赖某一个固定字符串。再次检查:
find /sys/kernel/iommu_groups/ -maxdepth 2 -type d
若重启后参数未出现在 /proc/cmdline,优先检查是否修改了正确的启动项管理位置;若参数存在但仍无 IOMMU 分组,则回到 BIOS/UEFI 核对设置,并检查内核启动日志中的错误。

四、将 PCI 设备分配给虚拟机
在创建或修改虚拟机之前,确认目标设备不是 PVE 当前必须使用的启动、管理或存储设备。若是多功能设备,结合前面查到的 IOMMU 分组,确定需要一起直通的功能。
可以在 PVE Web 界面中选择虚拟机的“硬件”页面,添加“PCI 设备”,然后选择对应设备。界面选项名称可能随 PVE 版本略有差异。配置时注意:
- PCI 设备:选中与主机
lspci输出一致的设备,不要仅凭设备名称猜测。 - All Functions(所有功能):多功能设备需要整体分配时使用;若各功能的分配需求不同,应先确认它们能否安全分开。
- PCI-Express:设备与虚拟机机器类型及 PCIe 兼容时可启用;如果启动失败,可结合日志检查是否为机器类型或设备兼容问题。
- Primary GPU(主显卡):仅在确实要让直通显卡承担虚拟机主显示输出时使用。设置后虚拟机控制台的显示方式可能改变。
- ROM-Bar:通常保留默认值;只有在设备或客户机兼容性排查有明确依据时再调整。
显卡直通常涉及机器类型、固件和客户机驱动的兼容性。某些组合需要 Q35 机器类型和 OVMF 固件,但这不是所有 PCI 设备的通用要求。修改已有虚拟机的固件类型前,应核实客户机启动盘和操作系统是否支持;不要为尝试直通而随意切换固件模式。
也可以使用 qm set 添加设备。下面命令会修改编号为 120 的虚拟机配置,地址仅为示例;执行前应备份该虚拟机配置,并确认设备地址无误:
qm config 120
qm set 120 --hostpci0 0000:03:00.0,pcie=1
若还需分配同一设备的其他功能,应按实际设备拓扑和 PVE 支持的配置格式添加,不能把不同 IOMMU 组的无关设备当作同一块卡处理。通过 Web 界面和命令行任选一种方式配置即可,避免重复添加同一设备。
添加后先核对虚拟机配置:
qm config 120
输出中应能看到类似以下配置项:
hostpci0: 0000:03:00.0,pcie=1
这一步只证明虚拟机配置已保存,尚不能证明设备已成功启动并被客户机识别。
五、启动虚拟机并逐层验证
启动前确认虚拟机没有运行,并检查设备没有被其他虚拟机占用。启动后按“配置—主机—客户机”三层检查,避免把配置存在误判为直通成功。
1. 检查虚拟机配置和运行状态
qm status 120
qm config 120
预期状态为 running,配置中保留目标 hostpci 项。如果虚拟机无法启动,先查看任务日志和系统日志,不要连续尝试修改多个选项,以免难以定位问题。
2. 检查主机驱动和内核日志
lspci -nnk -s 0000:03:00.0
journalctl -k -b | grep -Ei 'vfio|IOMMU|DMAR'
设备启动直通后,主机侧常见情况是设备由 VFIO 相关驱动管理,或日志显示设备被分配给虚拟机。具体表现会受内核版本、设备类型及配置方式影响。若设备仍被主机的显卡、网卡或存储驱动占用,应检查主机是否正在使用该设备,以及是否需要调整设备绑定策略。
特别注意:不要仅凭 lspci 显示设备仍在主机清单中,就判断直通失败。PCI 设备依然属于主机硬件,关键是看设备驱动归属、虚拟机运行日志和客户机枚举结果。
3. 在客户机内部确认设备
在 Linux 客户机中执行:
lspci -nn
lspci -nnk
应能看到与目标设备相符的设备类别和厂商/设备 ID。继续检查客户机是否加载了适用驱动,例如:
dmesg | grep -Ei 'pci|firmware|error'
在 Windows 客户机中,可通过“设备管理器”检查对应设备是否出现、是否有错误代码,并安装与设备及 Windows 版本匹配的驱动。设备已出现在设备管理器中,只表示客户机枚举到了它;要确认实际可用,还需检查驱动状态,并运行该设备对应的工作负载。
验收至少区分三件事:虚拟机配置包含设备、客户机能枚举设备、客户机驱动正常并能使用设备。前两项通过而驱动报错时,问题可能在客户机驱动、固件或设备兼容性,而不一定是 IOMMU 配置失败。

六、常见失败现象与处理顺序
排查时先从低风险、外层条件开始,再处理驱动绑定和设备兼容性。
| 现象 | 优先检查 | 结果含义与处理方向 |
|---|---|---|
| 找不到 IOMMU 分组 | BIOS/UEFI 设置、/proc/cmdline、重启后的内核日志 | 参数未生效时检查启动项;参数已生效但无分组时检查固件和平台支持 |
| PVE 能看到设备,但虚拟机无法启动 | 虚拟机任务日志、设备是否被主机使用、同组设备 | 可能是设备占用、组隔离或机器类型不兼容;先撤销最近一次变更,再逐项验证 |
| 虚拟机启动,但客户机看不到设备 | qm config、主机 VFIO 日志、设备地址和功能 | 配置地址可能选错、设备未成功分配,或多功能设备未按需求添加 |
| 客户机能看到设备但驱动异常 | 客户机设备管理器或 lspci -nnk、驱动日志 | 直通链路可能已工作,继续检查客户机驱动、固件和设备兼容性 |
| 显卡直通后黑屏或重启失败 | 主显示设备选择、OVMF/Q35 兼容性、显卡功能与重置日志 | 可能与显示输出切换、设备重置或固件兼容有关;先通过虚拟机控制台或带外管理恢复 |
| 第二次启动失败或设备无法重置 | 内核日志、设备重置能力、同设备其他功能 | 设备或驱动可能不支持当前重置方式;不要反复强制重启,应停机并评估替代设备或配置 |
排错时每次只调整一个变量,并记录调整前后的虚拟机配置和日志。若涉及显卡,主机启动阶段是否占用该卡、客户机固件模式以及显卡附属音频功能都可能影响结果;不能把某一种机器类型或某一项开关当作所有设备的固定答案。
七、回滚与验收清单
如果配置后主机管理网络、存储或本地显示受到影响,优先从带外管理或本地控制台恢复,不要依赖已经失效的网络连接。
回滚虚拟机侧设置时,先关闭虚拟机,再从 Web 界面移除 PCI 设备;使用命令行配置的,可按对应 PVE 版本支持的 qm set 参数移除该 hostpci 项。操作后用 qm config 120 确认配置中已不再包含目标设备,然后重启虚拟机验证原有设备恢复方式。
如需撤销 IOMMU 启动参数,应恢复修改前备份的 /etc/default/grub 或 /etc/kernel/cmdline,仅操作实际使用的启动项管理方式。GRUB 安装执行 update-grub;systemd-boot 管理的安装执行 proxmox-boot-tool refresh。确认配置无误后重启,并通过 cat /proc/cmdline 检查参数已撤销。若此前还改过模块、黑名单或设备绑定配置,也应逐项恢复备份;不要在不清楚影响范围时一次性清除整个配置目录。
首次部署完成后,可按以下项目验收:
- BIOS/UEFI 已启用对应 IOMMU 功能,PVE 重启后能看到有效 IOMMU 分组。
- 目标设备的 PCI 地址、设备 ID 和所在分组已记录,组内其他设备不会造成主机资源冲突。
- 虚拟机配置中只有预期的直通设备,且虚拟机能够正常启动。
- 主机侧日志没有持续的 VFIO/IOMMU 分配错误。
- 客户机能够识别目标设备,驱动状态正常,并通过设备对应的实际功能检查。
- 已记录回滚所需的虚拟机配置、启动参数和设备归属;发生故障时能先移除直通,再恢复主机原有访问路径。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9093.html



