独立服务器出现PCIe AER错误怎么查?日志信息如何指向故障设备

发布人:A5数据发布时间:2026-11-06 10:13阅读量:80

独立服务器的业务突然变慢,监控显示 NVMe 延迟升高,而内核日志里连续出现 pcieport ... PCIe Bus Error。这时不能仅凭“PCIe AER 错误”几个字判断要更换硬盘:报错的 pcieport 往往是上游端口,真正需要定位的是它下游的设备,以及错误发生时链路和业务分别出现了什么变化。

排查时,我会先固定报错时间和服务器启动轮次,再读日志中的严重级别、错误类型、PCI 地址及恢复信息;随后用 PCIe 拓扑把报错端口映射到网卡、NVMe 控制器或其他设备,最后对照设备驱动日志与 BMC 事件。时间线说明“是否同时发生”,拓扑说明“是否位于同一路径”;两者都对上,才适合把某个设备列为重点故障对象。

先确认现象:报错是偶发、持续,还是已经影响业务

PCIe AER(Advanced Error Reporting)由 PCIe 设备和端口报告错误。Linux 日志常把处理错误的上游端口写在行首,例如 pcieport 0000:00:1c.0。这里的 0000:00:1c.0 是 PCI 地址,格式为“域:总线:设备.功能”,不是硬盘盘符,也不必然是发生故障的终端设备地址。

先记录业务异常的当地时间、服务器时区、是否刚重启,以及报错前后有没有维护操作。以下命令适用于使用 systemd journal 的 Linux 独立服务器;读取内核日志通常需要 sudo 权限。它们只查询信息,不修改设备状态:

date -Is
journalctl --list-boots
sudo journalctl -k -b --no-pager | grep -Ei 'AER|PCIe Bus Error|DPC|pcieport|nvme|I/O error|reset'

-b 查看本次启动的内核日志;如果异常发生在上一次启动,可先从 --list-boots 确认记录仍在,再将命令中的 -b 改为 -b -1。若没有上一轮日志,不代表上一轮没有报错,可能是 journal 未持久化或日志已轮转。这时应查看集中日志平台、BMC 事件记录及业务监控,不要把“查不到”当作“未发生”。

找到首条 AER 记录后,缩小到事件前后的一段时间。下面的时间仅是查询格式示例,应换成服务器当地时区对应的实际时间:

sudo journalctl -k -b \
  --since "2026-03-18 02:10:00" \
  --until "2026-03-18 02:25:00" \
  --no-pager -o short-iso

这一轮先回答三个问题:第一条错误是什么时候出现的?同一端口是否反复报告?错误之后是否出现设备超时、驱动重置、设备消失或文件系统报错?如果只看到零星 Corrected,业务和设备日志都正常,优先保留记录并观察频率;如果出现 Fatal、DPC 隔离或持续 I/O 错误,应先按业务故障处理,避免在仍有写入时贸然重启或拔卡。

从日志字段读出“错误在哪里被发现”

下面是一段用于说明读法的示例日志,不是读者服务器上的执行结果:

Mar 18 02:17:13 host kernel: pcieport 0000:00:1c.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
Mar 18 02:17:13 host kernel: pcieport 0000:00:1c.0:   error status/mask=00000001/00000000
Mar 18 02:17:13 host kernel: pcieport 0000:00:1c.0:    [ 0] RxErr
Mar 18 02:17:43 host kernel: nvme nvme0: I/O 12 QID 3 timeout, aborting

读这类记录时,字段各自承担不同作用,不能合并成“某块盘坏了”的单一结论:

日志信息能说明什么不能直接说明什么
pcieport 0000:00:1c.0报告或处理错误的 PCIe 端口地址,可用于查下游拓扑不能单独确定故障卡或物理插槽
severity=Corrected错误已由硬件机制纠正;仍可观察发生频率不等于链路长期健康
Uncorrected (Non-Fatal)、Uncorrected (Fatal)存在未纠正错误,需结合驱动恢复和业务影响判断严重程度不能仅凭级别确定应更换哪个部件
type=Physical Layer、RxErr 等提供链路收发或协议层面的排查线索不足以在端口、设备、转接板和线缆之间定责
error status/mask、错误位名称指出报告的错误类别,以及相关屏蔽状态不代表日志已完整记录所有链路异常
Requester ID、Receiver ID 及其他 ID 字段有助于判断错误由哪一侧观察或与哪个请求相关不能脱离该条日志的格式,直接当作待更换设备地址

例如,RxErr 更值得检查链路及其两端;Completion Timeout 需要进一步看请求目标、设备驱动和响应情况;UnsupReq 则还可能涉及不被支持的访问。字段是缩小范围的线索,不是硬件检测报告。不同内核、硬件和驱动输出的细节也可能不同,缺少某一字段时不要自行补推。

时间顺序同样要谨慎。示例中 NVMe 超时晚于 AER 三十秒,两条记录有时间关联,但还缺少拓扑证据;而驱动可能在超时后才打印消息,日志先后也不必然等于物理故障的先后。对照 BMC 事件时,还要核对 BMC 与操作系统的时钟、时区和同步状态,否则相差数分钟的记录可能被错误地排成因果链。

再看拓扑:把报错端口映射到下游设备

确认报错端口后,再读取当前 PCIe 枚举信息。以下命令依赖 pciutils 提供的 lspci;若系统没有安装,可使用已有资产记录或请机房协助,不必为查看日志先改动生产环境。示例地址应替换为日志里的实际地址:

lspci -Dnn
lspci -t
sudo lspci -vv -s 0000:00:1c.0

lspci -Dnn 用于核对设备的完整 PCI 地址、类别及厂商和设备 ID;lspci -t 用树形关系找出 0000:00:1c.0 下接的总线和设备;lspci -vv 可查看该端口暴露的链路状态等信息。若树形关系显示 00:1c.0 下接 03:00.0,下一步应查询这个终端设备,而不是直接将 00:1c.0 写进“故障硬盘”工单:

lspci -Dnn -s 0000:03:00.0
sudo lspci -vv -s 0000:03:00.0

如果 03:00.0 是 NVMe 控制器,可再核对内核中的 nvme0 是否确实对应它:

readlink -f /sys/class/nvme/nvme0/device

输出路径的末端若为 0000:03:00.0,示例中的 AER 端口与 NVMe 超时就落在同一条 PCIe 路径上。如果是网卡,应针对实际接口名查看 /sys/class/net/接口名/device,并结合网卡驱动的重置、链路掉线和错误计数;不能把 NVMe 的核对方法照搬成“所有设备都查盘符”。

再看拓扑:把报错端口映射到下游设备配图

还应注意三种容易误判的情况。其一,一个上游端口后可能接 PCIe 交换芯片或多个设备,仅查到同一上游端口还不够,要继续沿树向下定位。其二,重启或重新枚举后 PCI 地址可能变化,不能用故障发生后的地址无条件解释历史日志。其三,PCI 地址不等于机箱正面的槽位编号;物理位置还需核对服务器的槽位标识、硬件清单或 BMC 信息。

若 lspci -vv 中当前链路速率、宽度低于设备和两端共同支持的配置,可以记录为进一步检查线索,但不要只拿一侧的 LnkCap 与 LnkSta 比较就判定降速故障。链路协商受两端能力、固件设置和平台布线影响,历史上是否正常同样重要。

交叉核对:按结果决定排查深度

在能够访问 BMC 的环境中,可以通过管理界面读取系统事件日志;已部署 ipmitool 且具备授权的服务器,也可只读查询:

sudo ipmitool sel elist

重点找与操作系统报错同一时段的 PCIe、槽位、设备掉线或电源相关事件。BMC 对事件的命名和槽位映射因平台而异,需结合硬件手册理解。不要为了让新事件“更明显”而清空 SEL:清除操作会丢失此前的排查证据。

还可以在系统提供相应 AER 计数文件时,读取报错端口的当前计数,间隔一段观察窗口后再次读取:

for f in /sys/bus/pci/devices/0000:00:1c.0/aer_*; do
  if [ -f "$f" ]; then
    printf '%s: ' "$f"
    cat "$f"
  fi
done

这组命令不会清零计数。文件不存在可能与内核、平台或 AER 支持情况有关;计数存在也不等于可以直接换算为某段时间的错误率。应记录两次读取时间和计数差值,并确认期间没有重启或重新枚举。

把证据合并后,常见结果可分成以下几类:

  1. 偶发 Corrected,未见设备超时或业务异常。保留端口、错误位、时间和计数基线,观察是否集中在某次启动、某个负载时段或维护之后。此时不宜仅凭一条日志安排停机换件。
  2. 同一路径反复报错,并伴随驱动超时或重置。将上游端口、下游 PCI 地址、驱动设备名和首次异常时间写在一起,优先核对固件版本、近期变更、链路状态与硬件健康信息。若下游还有多级设备,继续查到具体终端再确定处置对象。
  3. 出现 Fatal、DPC、设备消失或持续 I/O 错误。先评估业务写入、数据副本和备份状态,安排维护窗口与现场支持。可能需要检查插卡、转接板、背板、线缆、槽位或设备本体,但日志通常不能独立区分这些物理部件。
  4. 报错端口与业务异常设备不在同一拓扑路径。不要强行关联;分别查对应驱动日志、其他 PCIe 端口以及存储或网络自身的错误记录。时间接近只是继续调查的理由,不是定责证据。

生产服务器上,不建议把禁用 AER 日志、解绑设备、PCIe 热重置或直接重新扫描总线当成第一步。这些动作可能掩盖证据或中断设备 I/O。确需重插、换件、更新固件或执行重置时,应先保存日志与硬件清单,确认备份和业务切换条件,明确影响范围、维护窗口及失败后的恢复方案;不具备热插拔条件的设备,应按平台要求停机处理。

修复后,验证错误是否停止且业务恢复

修复不能只以“重启后暂时没看到报错”验收。应先核对设备是否按预期重新枚举、驱动是否正常加载、业务设备名和数据路径是否正确,再在与故障时相近的负载条件下复测。NVMe 路径重点看 I/O 超时和存储延迟;网卡路径重点看驱动重置、链路状态及收发错误。两者都应再次查看相应 PCIe 端口的 AER 日志和计数变化。

复测记录至少保留:修复动作与完成时间、修复前后的 PCIe 拓扑、相关 AER 字段、设备驱动日志、BMC 事件,以及业务指标。若更换设备后错误仍出现在同一上游端口,应继续检查该端口到设备之间的其他部件和平台侧条件;若错误随设备迁移到另一槽位,设备本体或其随附部件的嫌疑会增加,但仍需结合平台支持的迁移方式判断。

修复后,验证错误是否停止且业务恢复配图

观察窗口应覆盖此前容易触发错误的负载和时间段。只要同一路径仍有未纠正错误、设备反复重置或业务 I/O 异常,就不应仅因服务暂时可访问而关闭故障。持续记录“时间、报错端口、下游设备、错误类型、业务影响”的对应关系,后续即使需要现场检查,也能把检查范围从整台独立服务器缩到具体链路和部件。

独立服务器上的网卡与NVMe设备,承载着业务访问和数据读写。A5idc数据提供香港、美国、日本等地区的物理服务器租用,涵盖常规计算、AMD平台及多种存储配置;部分方案配备NVMe,另有面向大容量文件存储的HDD配置。这些计算、存储和线路资源可用于部署数据库、业务后台及文件服务等工作负载。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7811.html

相关推荐