服务器硬件事件日志怎么看?如何从时间戳和错误等级筛查异常?
在已有服务器环境中排查硬件异常,通常不需要先重启或更换部件,先应把BMC硬件事件日志、操作系统日志、存储控制器日志和时间同步状态放在同一条时间线上。重点查看事件发生时间、来源、错误等级、组件名称、传感器当前值与阈值、事件是否已恢复,以及同一时间段内是否出现宕机、I/O错误或链路重置。

筛查时不要只按“Critical”或“Error”一项下结论。硬件日志中的等级由BMC厂商、固件和日志来源共同决定,同一个“Warning”可能是一次短暂的阈值越界,也可能是持续的风扇、温度或电源问题。更可靠的判断方式是:先统一时间,再按严重程度缩小范围,最后结合事件重复次数、组件状态和操作系统表现确认异常。
现状与条件:先确定日志范围
需要同时查看的日志
服务器硬件事件通常不会只出现在一个位置。BMC记录的是主板、风扇、电源、温度、内存等底层传感器事件;操作系统日志则更容易体现硬件错误对内核、文件系统和应用的影响。
| 日志来源 | 主要用途 | 重点字段或关键词 |
|---|---|---|
| BMC System Event Log,简称SEL | 查看服务器上电前后及运行期间的硬件传感器事件 | 时间、序号、传感器、事件状态、断言/恢复、阈值 |
| Redfish事件或BMC Web日志 | 以结构化方式获取硬件事件,并补充厂商扩展字段 | Created、Severity、MessageId、Message、SensorNumber |
| Linux内核日志 | 判断内核是否感知到内存、PCIe、磁盘、温度或电源异常 | mce、edac、aer、I/O error、thermal、nvme |
| Linux系统日志 | 关联服务退出、文件系统只读、重启和设备初始化 | journalctl、syslog、kern.log |
| Windows系统日志 | 查看WHEA、磁盘、存储驱动和意外关机事件 | WHEA-Logger、Disk、stornvme、storahci、Kernel-Power |
| RAID或存储控制器日志 | 判断阵列降级、磁盘掉线、重建和控制器缓存状态 | 物理盘序列号、槽位、阵列状态、介质错误 |
| 硬盘或NVMe健康日志 | 补充介质错误、寿命、温度和错误计数 | SMART、媒体错误、CRC错误、Critical Warning |
| 虚拟化平台硬件健康日志 | 关联物理机异常与虚拟机迁移、暂停或I/O超时 | 主机名、硬件传感器、设备路径、虚拟机事件 |
如果服务器运行在虚拟化平台上,还要查看宿主机日志。虚拟机内部可能只显示“磁盘I/O超时”,真正的原因却是宿主机的RAID控制器、电源或PCIe设备异常。
先确认服务器身份和维护边界
操作前记录主机名、管理地址、BMC地址、服务器序列号、操作系统版本、BMC固件版本,以及当前是否存在业务维护窗口。多台服务器同时维护时,必须把日志文件与主机名和采集时间绑定,避免将不同设备的事件混在一起。
建议使用只读权限完成第一次采集,至少确认以下条件:
- BMC或带外管理账号具备查看日志权限;
- 操作系统账号可以读取内核和系统日志;
- 已知服务器的时区、BMC时区和时间同步来源;
- 服务器当前没有正在执行的固件升级、阵列重建或内存诊断;
- 采集文件保存到受控目录,并限制其他账号读取;
- 在清理SEL、重置BMC或重启服务器前,已经完成证据导出。
日志中可能包含主机名、序列号、磁盘序列号、内网地址和账号相关信息,导出文件不应直接上传到公共位置。
日常操作:按时间窗口采集和整理
第一步:确定异常时间窗口
先从监控、工单或业务侧确认异常大致发生时间,例如“业务在北京时间10:14开始出现I/O超时”。不要只导出这一秒的日志,建议先取异常前10分钟到异常后30分钟的范围;如果服务器发生过重启或掉电,则应额外查看上一次正常运行结束前的日志。
记录以下三个时间点:
T0:监控告警或业务异常开始时间;T1:服务器重启、掉电、服务退出或设备掉线时间;T2:组件恢复、阵列重建开始或错误消失时间。
如果业务平台、操作系统和BMC显示的时间不一致,不要直接按原始时间排序,先完成时区转换。
第二步:采集BMC硬件事件日志
使用IPMI的服务器可以先查看SEL信息和事件列表。以下命令只读取日志,不会清除事件:
ipmitool sel info
ipmitool sel time get
ipmitool sel elist
ipmitool sel list
建议将结果保存到带有主机名和时间的文件中:
HOSTNAME="$(hostname -s)"
COLLECT_TIME="$(date -u +%Y%m%dT%H%M%SZ)"
ipmitool sel elist > "${HOSTNAME}_bmc_sel_${COLLECT_TIME}.txt"
ipmitool sel info > "${HOSTNAME}_bmc_sel_info_${COLLECT_TIME}.txt"
ipmitool sel time get > "${HOSTNAME}_bmc_sel_time_${COLLECT_TIME}.txt"
elist通常比list包含更多传感器描述,但不同厂商的输出格式可能不同。重点保存原始输出,不要只复制人工整理后的几行。
通过Redfish获取日志时,字段通常更适合程序化处理。接口路径会随厂商和固件版本变化,先确认服务根目录和日志集合路径,不要直接套用其他型号的路径:
curl --silent --show-error \
--cacert /path/to/bmc-ca.crt \
-u "${BMC_USER}:${BMC_PASS}" \
"https://BMC_ADDRESS/redfish/v1/Systems/1/LogServices" \
-o redfish_logservices.json
生产环境不建议使用跳过证书校验的方式。若测试环境必须临时使用自签名证书,应将影响范围限定在当前采集操作,并在完成后恢复证书校验。
Redfish日志中优先查看以下字段:
Created:事件生成时间;Severity:严重程度;MessageId:厂商或标准消息编号;Message:事件文本;EntryType:事件、SEL或其他日志类型;SensorNumber、SensorType:传感器编号和类型;Resolution或Resolved:是否有恢复提示;Oem:厂商扩展字段。
第三步:采集操作系统日志
Linux环境先确认系统时间、时区和NTP状态:
date -Ins
timedatectl
chronyc tracking 2>/dev/null || true
查看异常时间窗口内的内核错误:
journalctl --utc \
--since "2025-03-08 02:00:00" \
--until "2025-03-08 02:40:00" \
-k \
-p warning..emerg
查看完整的内核事件,避免因为优先级过滤遗漏有用的提示:
journalctl --utc \
--since "2025-03-08 02:00:00" \
--until "2025-03-08 02:40:00" \
-k
针对硬件问题,可以进一步筛选典型关键词:
journalctl --utc \
--since "2025-03-08 02:00:00" \
--until "2025-03-08 02:40:00" \
-k | grep -Ei \
'mce|edac|aer|pcie|thermal|temperature|fan|power|watchdog|nvme|scsi|I/O error|reset|timeout'
常见含义如下:
mce:处理器机器检查异常,可能涉及CPU、内存、主板或总线;edac:内存纠错和内存控制器事件;aer、pcie:PCIe高级错误报告或链路问题;I/O error、timeout、reset:存储设备、控制器、链路或驱动异常;thermal:温度保护、热区限频或过热关机;watchdog:看门狗触发,需结合电源、内核卡死和BMC日志判断。
Windows系统可先查看WHEA相关事件,再关联磁盘和电源事件:
$start = Get-Date "2025-03-08 10:00:00"
$end = Get-Date "2025-03-08 10:40:00"
Get-WinEvent -FilterHashtable @{
LogName = "System"
StartTime = $start
EndTime = $end
} | Where-Object {
$_.ProviderName -match "WHEA|Disk|stornvme|storahci|Kernel-Power|volmgr"
} | Select-Object TimeCreated, Id, ProviderName, LevelDisplayName, Message
事件ID不能脱离ProviderName和完整消息解释。不同Windows版本、存储驱动和硬件厂商可能使用不同的事件ID,不能只看到某个ID就直接判定为硬盘损坏。
第四步:补充存储和设备健康信息
发现磁盘、NVMe或RAID事件后,先建立“系统设备名—控制器槽位—物理盘序列号”的对应关系。Linux中可以读取NVMe健康信息:
lsblk -o NAME,SIZE,MODEL,SERIAL,WWN,MOUNTPOINTS
nvme list
nvme smart-log /dev/nvme0
上述命令中的设备名只是示例,执行前要根据nvme list确认目标设备。不要把/dev/nvme0直接套用到所有服务器。
SATA或SAS磁盘可以使用SMART工具读取信息,但应先确认设备类型和控制器映射:
smartctl -a /dev/sdX
如果磁盘由硬件RAID控制器管理,操作系统可能看不到真实物理盘,SMART结果也可能不完整。此时应使用对应控制器的只读查询工具或BMC存储页面,重点确认:
- 阵列是否为Optimal、Degraded或正在重建;
- 报错物理盘的槽位和序列号;
- 错误是否集中在同一块盘;
- 控制器缓存是否启用、是否出现保护性降级;
- 重建开始时间是否与业务I/O异常一致。
结果检查:从时间戳和错误等级筛选异常
先统一时间,再判断先后关系
时间戳是关联日志的基础,但BMC、操作系统、监控平台可能使用不同时间源。常见差异包括:
- 操作系统使用UTC,管理页面显示本地时间;
- BMC时钟未配置NTP,重启后出现偏差;
- 日志只记录本地时间,没有时区偏移;
- 设备事件先发生,操作系统几秒后才记录;
- 时间同步服务校时造成时间突然跳变;
- 服务器掉电后,BMC事件时间与系统恢复时间不连续。
建议将所有记录转换成UTC或同一时区,再按照“时间戳、日志来源、事件序号”排序。没有时区信息的日志,要保留原始时间,并在整理表中增加“时间依据”字段,不要伪造转换结果。
| 字段 | 检查方法 | 判断意义 |
|---|---|---|
| 事件时间 | 是否带时区,是否与当前时钟一致 | 确认事件能否与其他日志对齐 |
| 采集时间 | 文件生成时间和命令执行时间 | 判断日志是否在故障后被导出 |
| SEL序号 | 序号是否连续,是否发生回绕 | 辅助判断事件先后,不能替代时间戳 |
| 断言时间 | 条件首次达到阈值的时间 | 通常更接近故障开始 |
| 恢复时间 | Deasserted、Cleared或恢复消息时间 | 判断故障是否短暂或持续 |
| 主机启动时间 | 操作系统启动和BMC重启时间 | 识别掉电、重启或BMC复位 |
| 设备状态时间 | 磁盘掉线、阵列降级、重建时间 | 判断存储异常是否与业务故障相关 |
在时间已经统一的前提下,可先使用异常前10分钟到异常后30分钟的窗口进行关联。服务器负载高、BMC队列积压或监控平台转发延迟较大时,窗口需要适当扩大。时间接近只能说明存在关联,不能单独证明因果关系。
按错误等级筛选,但不要把等级当成最终结论
日志等级一般可按以下方式处理:
| 常见等级 | 初步处理方式 | 需要继续确认的内容 |
|---|---|---|
| Critical、Fatal、严重 | 优先检查,确认是否影响供电、散热、内存、阵列或系统运行 | 是否持续、是否恢复、是否伴随重启或业务中断 |
| Error、Major | 作为重点异常,优先关联操作系统和设备日志 | 是否重复出现,是否集中在同一组件 |
| Warning、Minor | 先看阈值、持续时间和重复次数 | 是否为短时波动,是否在维护或开机期间出现 |
| Notice、Info | 通常作为时间线辅助信息 | 是否记录了设备插拔、启动、固件加载或配置变化 |
| Cleared、Deasserted | 表示条件已经离开触发状态 | 是否真正恢复,还是短暂恢复后再次触发 |
BMC的严重等级并没有完全统一的解释。有些设备将“温度上限越界”标为Critical,有些设备只标为Warning;也有厂商通过OEM字段区分“可纠正错误”和“不可纠正错误”。因此,筛查时应把以下条件组合起来:

- 等级是否达到Error或Critical;
- 同一组件是否重复出现;
- 是否存在持续未恢复的状态;
- 是否与系统错误、重启或性能下降同时发生;
- 事件是否在维护、开机自检或固件升级期间产生;
- 传感器值是否真的越过阈值,而不是仅发生状态变化。
建立最小事件时间线
可以使用以下字段建立表格:

| 统一时间 | 原始时间 | 来源 | 严重程度 | 组件/传感器 | 事件状态 | 当前值/阈值 | 关联表现 |
|---|---|---|---|---|---|---|---|
| 02:13:47 UTC | 10:13:47 +08 | BMC SEL | Critical | Fan 2 | Asserted | 600 RPM,低于下限 | 无 |
| 02:14:02 UTC | 10:14:02 +08 | BMC SEL | Warning | CPU Temp | Asserted | 85℃,接近上限 | 风扇转速异常 |
| 02:14:10 UTC | 02:14:10 UTC | Linux内核 | Error | thermal zone | throttled | 未记录 | CPU降频 |
| 02:16:21 UTC | 10:16:21 +08 | BMC SEL | Warning | Fan 2 | Deasserted | 恢复至3200 RPM | 降频解除 |
这个时间线中,风扇转速异常早于CPU温度升高,CPU温度事件又早于内核降频,更适合先检查风扇模块、风扇插槽、供电和BMC传感器,而不是直接更换CPU。若风扇事件只出现一次且没有温度升高、降频或重复记录,还要排除传感器瞬时读数异常。
异常处理:按事件组合判断处理方向
温度和风扇事件
看到温度Warning或Critical时,先确认:
- 同一时间是否有风扇转速降低或风扇失效事件;
- 温度是CPU、内存、进风、出风还是磁盘背板;
- 传感器值是否持续超过阈值;
- 服务器是否出现降频、自动关机或风扇全速运行;
- 机房环境温度、机柜进风和服务器内部灰尘是否异常。
一次短暂的温度峰值可能与负载突增有关;连续上升且伴随风扇低速,更接近散热链路问题。正在高温运行时,不要反复重启或清除日志掩盖事件。应先降低非必要负载,并根据业务容灾策略安排停机、清洁、风扇更换或现场检查。
内存纠错事件
内存事件至少区分“可纠正”和“不可纠正”:
- 可纠正错误偶发一次,且没有系统崩溃,通常先记录位置和趋势;
- 同一内存通道、同一DIMM槽位持续出现错误,需要安排维护;
- 不可纠正错误、机器检查异常或蓝屏/内核崩溃,应按高优先级处理;
- 更换内存前要确认错误跟随的是内存条,还是固定在主板槽位或内存通道。
可通过BMC内存定位、Linux的EDAC记录或Windows的WHEA消息互相验证。不要仅凭“内存错误”四个字直接拔插内存。涉及开盖、断电和重新插拔时,应先确认服务器型号、内存布局、静电防护和业务切换条件。
存储、RAID和NVMe事件
存储日志需要把逻辑卷、控制器、物理盘和槽位对应起来。以下组合通常需要立即升级处理:
- RAID从Optimal变为Degraded;
- 同一物理盘反复掉线又恢复;
- 操作系统出现大量I/O timeout、reset或文件系统错误;
- 控制器缓存进入保护模式;
- NVMe出现Critical Warning、介质错误或温度保护;
- 阵列正在重建,同时业务延迟明显升高。
如果阵列已经降级,不要因为日志显示“磁盘恢复在线”就直接清除事件。先确认冗余状态、备份可用性、替换盘容量和重建条件。未经确认不要拔盘;只有明确支持热插拔、槽位对应无误且阵列状态允许时,才执行物理盘更换。
PCIe、网卡和扩展卡事件
PCIe AER、链路重置或设备消失,可能来自扩展卡、插槽、供电、固件或驱动。处理时记录设备的PCI地址、型号、固件版本和插槽位置,并对比BMC日志中的设备名称。
如果同一设备反复出现“link down—reset—恢复”,优先检查插槽接触、辅助供电、固件兼容性和设备温度。如果只有操作系统出现驱动错误,而BMC没有硬件事件,则不能直接判定物理卡损坏,还应检查驱动版本、内核版本和设备初始化过程。
电源、掉电和看门狗事件
AC lost、PSU failure、power unit、watchdog和Kernel-Power需要放在同一时间线上。重点区分:
- 机房或PDU侧掉电;
- 单个电源模块故障;
- 电源线、插座或供电回路异常;
- BMC复位但主机未掉电;
- 操作系统卡死后被看门狗重启;
- 人工执行的重启或远程电源操作。
如果BMC显示主机掉电,而操作系统没有正常关机记录,不要把它归类为普通系统重启。应保留BMC事件、PDU记录和监控告警,并确认服务器是否具备冗余电源和双路供电。
必要恢复:先保留证据,再清理和修复
修复前导出原始日志
在更换部件、重置BMC、升级固件或清理SEL前,至少保存以下内容:
- BMC SEL原始导出文件;
- Redfish事件JSON或管理页面导出文件;
- 操作系统指定时间窗口内的内核和系统日志;
- RAID控制器、NVMe或SMART健康信息;
- 服务器型号、序列号、固件版本和当前时间状态;
- 监控告警、业务异常和维护操作记录。
可以对采集文件计算校验值,避免后续传输时无法确认文件是否被修改:
sha256sum *_bmc_* *.json > log_collection.sha256
处理前确认影响范围
不同恢复动作的影响不同:
| 操作 | 可能影响 | 执行前提 | 恢复方式 |
|---|---|---|---|
| 导出日志 | 通常不影响业务 | 具备只读权限 | 保留原始文件 |
| 查看传感器和SMART | 通常不影响业务 | 确认设备路径 | 无需回滚 |
| 重启BMC | 可能短暂中断带外管理,不一定影响主机业务 | 已确认不在远程救援或升级过程中 | 等待BMC重新上线 |
| 重启服务器 | 中断主机业务,可能触发阵列或虚拟机风险 | 已完成业务切换和维护审批 | 按业务恢复流程启动 |
| 清除SEL | 永久丢失当前BMC事件,通常无法撤销 | 已完成导出并记录工单 | 只能通过备份文件恢复审计依据 |
| 更换磁盘或内存 | 可能触发阵列重建或主机停机 | 确认槽位、冗余和备件兼容性 | 按厂商维护流程更换 |
| 固件升级 | 可能重启并改变日志行为 | 已备份配置、确认兼容性和回退包 | 使用匹配版本回退或厂商恢复流程 |
只有在事件已经导出、问题原因已记录、并且需要清理历史噪声时,才考虑清除SEL。使用以下命令清除前,应再次核对主机和BMC地址;该操作不可通过命令撤销:
ipmitool sel save server_bmc_sel_before_clear.bin
sha256sum server_bmc_sel_before_clear.bin
ipmitool sel clear
ipmitool sel info
清除SEL不等于修复硬件,只是删除BMC中的历史记录。清除后应重新观察一段时间,并记录清除时间作为新的时间线边界。如果日志空间已满,应优先按厂商支持的导出、轮转或保留策略处理,不要直接删除BMC数据库或手工修改系统日志目录。
恢复后的验证
硬件更换、风扇恢复、阵列重建或固件调整后,至少完成以下验证:
- 新事件是否仍在同一组件上重复出现;
- 原来的传感器值是否回到正常范围;
- 断言事件是否出现对应的恢复事件;
- 操作系统是否仍有WHEA、MCE、EDAC、AER或I/O错误;
- RAID是否恢复为预期状态,重建是否正常推进;
- 业务侧的I/O延迟、错误率和服务状态是否恢复;
- 经过一个完整观察窗口后,是否出现新的关联事件。
如果修复后只有旧事件仍保留在日志中,而没有新事件产生,不要把历史记录误判为故障复发。应以清除时间、事件序号、恢复时间和新的采集结果区分历史事件与新事件。
A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon、AMD EPYC、NVMe、企业级机械硬盘及多IP等配置,可为网站、数据库、接口服务、备份归档和多任务计算提供相应的硬件基础。针对不同业务的访问区域、数据规模与负载特点,A5数据也提供多种线路、带宽和存储组合,便于在服务器运维与硬件事件管理场景中匹配合适的部署资源。
上线或验收检查清单
- [ ] 已确认服务器主机名、序列号、BMC地址和操作系统身份。
- [ ] 已导出BMC SEL或Redfish日志,并保留原始格式。
- [ ] 已采集操作系统内核、系统、WHEA或存储相关日志。
- [ ] 已确认BMC、操作系统、监控平台的时区和时间偏差。
- [ ] 已将关键事件转换到同一时间基准。
- [ ] 已记录事件序号、组件、传感器值、阈值和断言/恢复状态。
- [ ] 已区分Critical、Error、Warning和Info的处理优先级。
- [ ] 已确认异常是否重复、持续,或仅在开机和维护期间出现。
- [ ] 已完成内存、温度、风扇、电源、PCIe和存储事件的交叉验证。
- [ ] 涉及磁盘、内存、BMC重置或服务器重启时,已确认影响范围和维护窗口。
- [ ] 清除SEL前已导出日志并记录工单;未将清除操作当作修复措施。
- [ ] 修复后已验证传感器状态、系统日志、阵列状态和业务指标。
- [ ] 已设置后续观察窗口,并明确再次出现哪些事件需要升级处理。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5409.html