独立服务器出现PCIe AER错误怎么办?如何结合内核日志定位设备与链路风险

发布人:A5数据发布时间:2026-10-28 10:23阅读量:162

服务器出现 PCIe AER(Advanced Error Reporting,高级错误报告)日志时,先不要仅凭一条报错就更换网卡、硬盘或主板。判断重点是:错误是否持续或升级、报错指向哪一个 PCIe 设备和上游链路、是否与业务异常发生在同一时间。Linux 内核日志、PCIe 拓扑和设备状态需要互相印证,才能区分偶发的可纠正错误、设备故障、链路风险,以及与 AER 无关的服务或应用问题。

AER 是 PCIe 错误报告机制。Corrected 通常表示硬件或链路已经纠正错误,设备仍可工作,但反复出现时可能提示链路质量或设备状态异常;Uncorrected (Non-Fatal) 表示发生了未纠正错误,但系统通常仍能继续运行;Uncorrected (Fatal) 则可能导致设备不可用、链路复位或系统故障。严重程度是排查起点,不等于根因结论。

先确认症状与影响范围

先把报错时间与业务影响对齐:网络丢包或网卡重置、NVMe 超时、设备掉线、虚拟机异常、服务延迟上升,是否在同一时间段发生。没有业务症状的单条 Corrected 日志,与反复出现并伴随设备重置的 Fatal 事件,处置优先级不同。

Linux 上可先查看本次启动以来的内核消息,以及持久化日志中覆盖故障时段的记录:

sudo dmesg -T | grep -Ei 'AER|PCIe Bus Error|pcieport|DPC'
sudo journalctl -k -b -o short-iso-precise | grep -Ei 'AER|PCIe Bus Error|pcieport|DPC'

如果需要查看上一次启动的记录,可先确认系统是否保存了持久化 journal,再查询上一启动周期:

sudo journalctl --list-boots
sudo journalctl -k -b -1 -o short-iso-precise | grep -Ei 'AER|PCIe Bus Error|pcieport|DPC'

dmesg -T 会把内核环形缓冲区中的时间换算为可读时间;若主机时间曾经校正,换算结果可能与实际墙上时间存在偏差。对齐业务日志时,优先使用带时间戳的 journal,并核对服务器时区、NTP 校时记录和应用日志时间。还要注意:没有查到 AER 日志,不代表设备一定正常。日志可能已被覆盖、未持久化,或平台没有启用相应报告功能。

先按日志等级分流

常见日志会包含 severity、Requester ID、Corrected error 或 Uncorrected (Fatal) 等信息。判断时重点看错误等级、发生频率、设备标识和后续动作:

日志表现初步含义下一步
Corrected,偶发且无设备异常错误已由硬件纠正,单条记录不足以定位故障记录频次,核对是否集中在某个设备、端口或负载时段
Corrected 持续增长链路或设备可能持续出现可纠正错误查错误状态位、设备拓扑和温度、负载变化
Uncorrected (Non-Fatal)错误未能纠正,但未必导致整机停止运行检查设备是否复位、掉线,以及服务是否出现对应异常
Uncorrected (Fatal)、DPC 或设备消失可能触发链路隔离、设备失效或系统级影响保存完整日志,优先确认受影响设备和上游端口;避免在业务高峰盲目重置

AER 计数或状态位通常表示错误类型或累积情况,并非所有内核和平台都会以相同格式展示。不要把某一个计数直接换算成“故障概率”或“剩余寿命”。

建立原因树:先看设备,再看链路和业务

定位时可以把问题拆成四层:设备本身、PCIe 链路与平台、操作系统、业务服务。越靠近硬件的证据越能解释 AER 的来源;服务或应用异常则用于验证影响范围,不能单独证明 PCIe 故障。

设备层:谁在报错

日志中的 BDF(总线、设备、功能号)通常形如 0000:3b:00.0。它可能指向实际端点,也可能是报告错误的 Root Port(根端口)或其他上游桥。日志中的 Requester ID、Source ID 与 BDF 常可用于关联设备,但具体显示形式取决于内核和平台。

查看 PCIe 设备列表和设备详细信息:

sudo lspci -Dnn
sudo lspci -s 0000:3b:00.0 -vv
sudo lspci -tv

将示例地址 0000:3b:00.0 替换为日志里的实际地址。lspci -Dnn 可帮助确认设备类别和厂商、设备 ID;-vv 可查看设备能力、链路状态和 AER 相关信息;-tv 展示设备树,帮助判断报错设备挂在哪个 Root Port 或 PCIe 交换芯片下。

如果报错 BDF 对应网卡、NVMe 控制器或加速卡,继续查看该设备对应的驱动日志和状态。例如网卡关注链路掉线、驱动复位、队列或固件错误;NVMe 设备关注控制器复位、命令超时和设备消失。不要只根据设备名称推断根因:报告错误的上游端口与真正发生异常的端点可能不同。

链路与平台层:错误是否沿同一路径出现

用 lspci -tv 将 BDF 映射到拓扑后,检查同一设备或同一上游端口是否反复报错。如果多个下游设备在相近时间出现同类 AER,公共上游链路、PCIe 交换芯片或平台侧问题值得优先核查;如果只有单个端点持续报错,则设备、插槽或该端点所在链路更可疑,但仍需进一步验证。

链路与平台层:错误是否沿同一路径出现配图

在 lspci -vv 输出中,可关注:

  • LnkCap:设备或端口支持的链路速率与宽度。
  • LnkSta:当前协商出的速率与宽度。
  • DevSta、AER 扩展能力:是否有错误状态或相关报告。
  • UESta、CESta 等状态字段:具体错误位;字段是否出现取决于硬件、内核和工具版本。

当前链路宽度或速率低于设备能力,不必然表示故障。平台设计、插槽布线、BIOS 设置或共享通道都可能限制协商结果。只有将能力值、当前状态、拓扑和厂商平台资料结合起来,才能判断是否异常。对涉及插槽、转接卡、线缆或固件的检查,应安排停机窗口并遵循设备厂商的维护流程;生产环境不要在未评估影响时热拔插设备。

系统层:确认错误是否伴随内核动作

在完整日志中查找错误前后的设备复位、驱动报错、链路状态变化、DPC(Downstream Port Containment,下游端口隔离)或设备移除信息。孤立的一条 AER 与“先报 AER,随后设备重置,再出现业务中断”的证据链,意义不同。

可在原始时间窗口内查看内核日志,而不是只截取包含 AER 的单行:

系统层:确认错误是否伴随内核动作配图

sudo journalctl -k -b --since "2025-03-08 10:00:00" --until "2025-03-08 10:10:00" -o short-iso-precise

时间参数仅为格式示例,实际查询应替换为故障发生时间。若发生过内核升级、驱动升级、BIOS 或固件调整,也应记录变更时间;时间相关性可以提供排查线索,但不能单独证明变更就是根因。

服务与应用层:确认影响,不把影响当原因

若报错设备是网卡,查看网络接口是否重置、链路是否短时中断,以及上层连接是否出现超时;若是存储控制器,查看 I/O 延迟、文件系统或数据库是否出现超时;若是计算加速设备,核对相关任务是否报设备不可用。应用日志和监控用于回答“业务是否受影响、影响何时开始”,不能替代硬件错误定位。

逐层排除:按证据收敛原因

先固定故障时间窗,再按由低风险到高风险的顺序排查:

逐层排除:按证据收敛原因配图

  1. 确认日志完整性。 保存包含首条 AER、后续设备消息和业务异常的时间段;核对日志是否来自同一次启动。若仅有零散片段,暂不据此判断错误顺序。
  2. 确认设备与拓扑。 用 BDF 查设备类型、驱动和上游端口;如果 BDF 不存在或已变化,检查设备是否发生重枚举,避免把不同启动周期的地址直接对照。
  3. 比较频率和关联性。 记录每次出现的时间、严重程度、BDF、错误类型及对应业务表现。若错误集中在同一端口且与设备异常同步,硬件链路分支优先级上升;若报错分散且没有设备状态变化,应先扩大观察范围。
  4. 检查变更与负载。 对照近期的内核、驱动、固件、BIOS、电源管理和设备配置变更;同时观察错误是否只在高 I/O 或高网络负载时出现。负载相关性只是线索,不能直接等同于带宽不足。
  5. 评估硬件维护。 若同一设备持续出现未纠正错误、掉线或复位,且拓扑证据指向固定端点或端口,应保存诊断资料并联系硬件维护方;需要重新插拔、更换部件或升级固件时,先确认兼容性、备份和停机影响。

下面是模拟日志,用来展示如何读字段,不代表任何特定服务器的检查结果:

[Mon Mar  8 10:03:21 2025] pcieport 0000:00:1c.0: AER: Corrected error received: 0000:3b:00.0
[Mon Mar  8 10:03:21 2025] pci 0000:3b:00.0: PCIe Bus Error: severity=Corrected, type=Physical Layer, (Receiver ID)
[Mon Mar  8 10:03:21 2025] pci 0000:3b:00.0:   device [1234:5678] error status/mask=00000001/00000000

在这个示例中,0000:3b:00.0 是报告关联设备地址,0000:00:1c.0 是日志中出现的上游端口。severity=Corrected 表示该条记录被分类为可纠正错误;type=Physical Layer 指向物理层类别,但它本身不能区分设备、连接器、插槽、信号质量或平台因素。下一步应使用 lspci -tv 确认两者拓扑关系,再检查错误是否重复以及是否伴随链路降速、设备重置或业务异常。

定位根因:让多类证据形成闭环

较可靠的判断通常至少包含三类证据:

定位根因:让多类证据形成闭环配图

  • 日志证据: 同一错误等级、类型、BDF 或上游端口在一个可界定的时间段内重复出现。
  • 拓扑证据: BDF 与目标端点、上游 Root Port 或交换芯片的关系已确认,且其他相关设备的表现符合该路径。
  • 影响证据: 设备状态变化或业务异常与 AER 时间线相符,例如网卡复位与连接中断相邻发生,或存储设备报错与 I/O 超时同时出现。

若只有一条可纠正错误、设备状态正常、业务没有对应异常,较稳妥的结论是“发现 AER 记录,暂未证实设备故障”,继续监控并保存计数趋势。若错误持续增长但没有服务影响,仍需查清设备和链路,不能因为业务暂时可用就忽略。若出现未纠正错误、设备消失或复位,并与业务故障对齐,则应按硬件或链路风险处理,避免将其简单归类为应用故障。

验证恢复与复发监控

采取维修、固件或配置调整后,先确认设备仍可枚举,链路状态与预期一致,驱动加载正常,再观察相同负载下是否继续出现 AER、设备重置和业务异常。若在维护窗口内没有新日志,只能说明该观察时段未复现;应结合业务周期延长观察,而不是直接认定问题彻底消失。

建议持续记录以下项目:AER 的时间、严重程度、错误类型、BDF 与上游端口;设备重置或掉线次数;链路速率和宽度变化;对应服务的超时、丢包或 I/O 延迟。若系统使用 rasdaemon,可检查其是否已安装、启用并记录 PCIe 错误;不同发行版的服务名和数据库配置可能不同,先用系统服务管理工具核实,不要照搬不适配的启用命令。

复发时,用同一套字段和时间线与维修前比较:报错是否还落在同一设备或端口、错误频率是否变化、业务影响是否同步。只有当日志、拓扑和业务表现共同指向同一分支,才能把怀疑范围收敛到具体设备或链路;否则应保留“尚未定位”的判断,继续收集证据。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC、GPU及存储型平台,可按网卡、NVMe控制器、加速卡等PCIe设备相关业务选择相应硬件基础。结合SSD或NVMe存储、大容量硬盘、多IP及不同地区和线路带宽,能够为网站、数据库、接口服务、容器与计算任务提供多样化的服务器资源方案。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6192.html

相关推荐