香港GPU服务器日常维护,应重点监控哪些温度与显存异常?

发布人:A5数据发布时间:2026-11-14 10:30阅读量:21

维护香港机房中的 GPU 服务器,日常监控应同时覆盖 GPU 核心温度、显存温度(设备支持时)、机箱进风温度、显存占用、ECC 错误和降频状态。单次温度偏高或显存占用接近满载,不足以单独判定故障;更有用的做法是结合设备规格设定阈值,观察持续时间、变化趋势及相关日志,并将告警关联到具体 GPU、主机和业务任务。

先确认设备与监控条件

日常维护以现有系统和监控链路为基础,不需要为了查看指标中断 GPU 任务。先记录 GPU 型号、驱动版本、当前业务负载和可查询的传感器,再把每块卡的实际读数与设备厂商公布的温度及功耗限制对照。不同型号的温度上限、显存传感器和 ECC 能力可能不同,不能把同一组固定温度直接套用于所有服务器。

可先查看设备和驱动信息:

nvidia-smi
nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,utilization.memory,memory.used,memory.total,power.draw --format=csv

如果查询提示某个字段不支持,先查看本机驱动提供的查询字段,不要据此断定硬件异常:

nvidia-smi --help-query-gpu

核心温度通常较容易获取;显存温度、热点温度、ECC 计数和降频原因则取决于 GPU 型号、驱动及监控组件。应将“不支持该传感器”与“传感器读数异常”区分开来。需要进一步查看设备状态时,可执行:

nvidia-smi -q -d TEMPERATURE,POWER,UTILIZATION,MEMORY,ECC,PERFORMANCE

采集频率应与业务特征匹配。普通推理或训练节点可先按 15~30 秒采样,并保留分钟级趋势;对负载快速变化的任务,可缩短采样间隔,但需确认监控系统和驱动查询不会造成不必要的主机开销。事件日志和长期指标都应保留:前者用于定位具体故障时点,后者用于发现散热逐渐变差、显存占用持续增长等趋势。

日常重点检查哪些指标

指标主要判断方式需要关注的异常
GPU 核心温度对照该型号公布的允许范围或热降频阈值,并观察持续时间长时间贴近热降频区间、温度逐日升高,或负载不高却持续高温
显存温度、热点温度设备支持时单独监控,不用核心温度替代显存温度持续逼近设备限制,或与核心温度变化明显不一致
机箱进风温度使用机房或机柜传感器,尽量对应服务器进风侧进风温度上升、左右或前后温差异常,且多块 GPU 同时升温
显存已用量与总量同时看绝对占用、占用比例和历史趋势占用持续增长、任务结束后不回落、余量不足或出现分配失败
ECC 错误分别观察可纠正与不可纠正错误的计数变化可纠正错误持续累积,或出现不可纠正错误
降频与功耗联合查看温度、功耗上限、时钟及降频原因负载持续而时钟异常偏低,或反复出现热、功耗、可靠性相关降频

温度阈值应依据设备,而不是统一照搬

为每种 GPU 建立基线:记录空闲状态、典型业务负载和高负载时的核心温度、显存温度、功耗及风扇状态。设置告警时,以设备规格中的温度上限或热降频阈值为基准,提前留出处理空间。比如某型号的热降频阈值若为 85℃,可将接近阈值前的 5℃左右作为初始预警点,将达到该阈值或出现持续热降频作为严重告警条件;这只是配置思路,实际数值必须按具体型号核实。

温度阈值应依据设备,而不是统一照搬配图

告警不要只依赖单点越线。可要求温度连续数分钟超过预警线再通知,同时保留严重温度事件的即时告警;温度回落后设置一定回差,避免读数在阈值附近波动导致告警反复触发。若传感器本身有短时尖峰,可用短窗口均值辅助判断,但不能用平滑处理掩盖持续高温或设备保护事件。

核心温度正常也不代表显存散热一定正常。部分设备能够提供显存结温或热点温度,部分设备则不提供;监控面板应明确标记传感器是否可用,不能将缺失值显示成 0℃,更不能据此生成“温度正常”的结论。若显存温度不可查询,可结合核心温度、功耗、时钟、风扇状态及错误日志观察,并按照设备支持的维护方式检查散热环境。

显存占用要看变化,不只看百分比

memory.used 表示显存使用量,utilization.memory 通常表示一段采样时间内显存控制器的活动程度,两者不是同一指标。显存占用高可能是模型、批次或缓存的正常需求;显存活动度高也不等于显存容量即将耗尽。判断异常时,应结合任务配置、进程归属、占用趋势以及是否发生分配失败。

可为不同业务建立各自的正常范围。例如,某推理任务空闲后通常占用 18 GB,运行期间稳定在 22 GB;若在业务配置未变的情况下占用逐步升至 30 GB,且任务结束后仍不释放,就值得核对进程和服务生命周期。这个示例用于说明趋势判断,不代表所有 GPU 或应用的正常值。

显存占用要看变化,不只看百分比配图

建立可执行的巡检与告警流程

每日核对设备状态与业务负载

  1. 确认 GPU 数量、型号和状态与资产记录一致,检查 nvidia-smi 是否能正常枚举全部设备。
  2. 对照业务计划核对 GPU 利用率、显存占用和功耗。低利用率不一定是故障;若 GPU 长时间空闲但业务队列堆积,应同时检查任务调度、数据读取和进程状态。
  3. 检查核心温度、可用的显存温度及机箱进风温度,比较同一主机不同 GPU 的变化。相同业务下单卡持续明显偏热,可能与风道、风扇、散热接触或负载分布有关。
  4. 查看 ECC 计数、降频原因和系统内核日志,确认是否有新发生的错误或设备掉线事件。
  5. 将异常时间与业务发布、驱动变更、任务切换及机房环境变化对齐,避免把计划内负载变化误报成硬件故障。

需要临时观察温度和显存变化时,可使用:

nvidia-smi --loop=5 --query-gpu=index,temperature.gpu,utilization.gpu,memory.used,memory.total,power.draw --format=csv

命令持续运行期间会反复输出读数,结束时按 Ctrl+C。它适合短时核对,不应代替有历史记录和告警能力的监控系统。若要读取显存温度或其他字段,先用 --help-query-gpu 确认当前设备支持,再逐项加入。

告警分级并抑制重复通知

建议至少区分预警、严重告警和数据缺失三类:

  • 预警:温度在持续窗口内超过预警线;可纠正 ECC 计数持续增长;显存占用异常上升但尚未影响任务。通知值班人员并保留趋势数据。
  • 严重告警:温度达到设备热限制、出现持续热降频、不可纠正 ECC 错误,或 GPU 从系统中消失。尽快确认业务影响,并按故障流程处理。
  • 监控缺失:指标采集失败、传感器不支持或监控代理失联。应单独报出“无法确认状态”,不能把缺失读数当作正常值。

告警降噪的关键是加入持续时间、恢复条件和关联信息。温度预警可要求连续多个采样周期越线;显存告警应与对应任务、进程或容器关联;ECC 告警应同时记录当前值和相对上次检查的增量。对于同一主机因机房进风升温触发的多张卡告警,可合并通知,但仍保留每张卡的独立指标,便于判断是否存在单卡散热问题。

如何判断温度与显存异常的来源

先看异常影响范围,再从低风险检查逐步深入。单卡高温而同机其他卡正常,优先检查该卡附近的风道、风扇、挡板和负载;多张卡同时升温,则优先检查机箱进风、机柜风道和机房环境。若核心温度升高同时出现热降频,说明温度已影响性能;若温度稳定而出现功耗限制降频,应继续核对功耗上限和业务负载,不能只清理散热系统。

如何判断温度与显存异常的来源配图

出现显存告警时,先确认是否有预期中的训练、推理或缓存任务,再检查具体进程及占用变化。显存占用接近总量但业务稳定,不一定要立即清理;若任务报出显存分配失败,或占用不断增长并影响新任务,则应识别占用来源、评估业务影响,再决定是否停止或迁移相关进程。不要仅凭总占用直接杀进程,也不要在未确认任务归属前重启 GPU 服务。

查看内核日志可辅助定位 NVIDIA 驱动和设备事件:

journalctl -k --since "30 minutes ago" | grep -Ei 'NVRM|Xid|ECC|fallen off'

日志中出现 Xid 等信息时,记录时间、GPU 编号和错误码,并与监控曲线及业务日志交叉核对。不同错误码代表的原因和处理方式不同,不能仅凭“出现 Xid”就判定显卡损坏。若设备掉线、不可纠正 ECC 错误或同类事件反复出现,应保留日志和指标快照,按 GPU 型号、驱动版本及供应商维护流程进一步分析。

异常处置与必要恢复

确认告警不是短暂尖峰后,先保存证据:导出告警前后的温度、功耗、时钟、显存和 ECC 曲线,记录进程、驱动版本及相关内核日志。若需要在节点上重启服务、停止任务或重启主机,先确认任务是否可中断、检查点是否完整,并与业务负责人确认影响范围;重启可能导致训练中断、推理请求失败或正在处理的数据丢失。

散热异常优先从外部环境和风道检查开始:确认进风口无遮挡、机箱风扇工作正常、机柜气流方向符合部署要求,并核对同一时间的机房进风数据。涉及开机箱、拔插 GPU 或更换散热部件时,应先按机房和设备操作规范安排停机或维护窗口,不要在设备运行中进行可能影响供电、风道或连接的操作。若机器位于托管机房,可提交具体主机、机柜位置、告警时间和观测指标,减少来回确认。

显存异常应先确认相关任务能否安全结束。对于仍在运行的训练或推理进程,优先使用应用自身的停止、迁移或检查点机制;无法确认进程用途时,先联系业务负责人。不要把 nvidia-smi 中看到的显存占用直接等同于“可清理的残留”,也不要为了消除告警而强制终止未知进程。

只有在业务已停止、维护窗口获批且设备与驱动支持时,才考虑重载驱动、重启服务或重启主机。重启前保存日志和监控数据,并记录操作对象及影响范围;操作后确认 GPU 可被系统识别、驱动状态正常、传感器数据恢复、错误计数未继续增长,再执行小规模业务验证。若故障重复出现,应避免反复重启掩盖问题,保留现场信息并升级硬件或驱动层面的排查。

面向香港 GPU 服务器的模型运行与日常运维,A5idc数据提供搭载 A100 80GB、RTX 4090 等显卡的香港 GPU 服务器,配备服务器 CPU、内存和 NVMe 存储资源,香港 GPU 页面提供 CN2 线路配置。这些硬件资源可用于 AI 推理、模型测试和图像处理,为 GPU 节点的温度、显存与任务状态监控提供运行基础。

上线与验收检查清单

  • 每块 GPU 都有独立的设备标识,型号和资产记录一致。
  • 核心温度、显存温度及热点温度按设备能力区分展示;不支持的传感器明确标记为不可用。
  • 温度告警基于具体型号的限制设置,并配置持续时间、恢复条件和合理回差。
  • 显存占用、总容量和利用率分别展示,告警能关联到主机及相关任务。
  • ECC 错误能查看当前值和变化量,不可纠正错误可触发高优先级通知。
  • 热降频、功耗限制、设备掉线及采集失联有各自的判断路径。
  • 告警触发后能查到对应时间段的指标曲线、内核日志和业务记录。
  • 重启、终止任务或硬件维护前,有影响评估、必要备份或检查点、审批与恢复验证步骤。
  • 维护后确认 GPU 枚举正常、温度回到设备允许范围、显存占用符合业务基线,且异常计数没有持续增加。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9349.html

相关推荐