GPU服务器出现GPU Xid错误,怎样结合错误码与日志定位原因?

发布人:A5数据发布时间:2026-11-14 11:47阅读量:39

GPU Xid 并不是一个独立的故障结论,而是 NVIDIA 驱动记录到 GPU 异常事件后的诊断线索。错误码可以帮助判断异常更接近显存访问、图形或计算引擎、ECC、NVLink 还是 PCIe 总线,但通常不能单凭一个数字直接断定根因。

实际定位时,应以 Xid 出现的时间为中心,关联内核日志、nvidia-smi 状态、PCIe AER、BMC 硬件事件、应用进程日志和任务调度记录。先判断是主机环境或链路问题,再进入驱动、GPU 内部状态和应用内核排查,能够减少误重启、误升级和反复更换硬件。

先理解 Xid:错误码是入口,不是结论

Linux 服务器中,Xid 通常由 NVIDIA 内核驱动写入内核日志,常见格式类似:

2025-03-08T10:14:02.482311+08:00 node-01 kernel: NVRM: Xid (PCI:0000:3b:00): 31, pid=18452, name=python3, Ch 00000017

这条记录至少包含几个有用字段:

  • 时间戳:用于和应用、PCIe、BMC、调度系统日志对齐。
  • PCI 地址:例如 0000:3b:00,用于确认具体是哪张物理 GPU。
  • Xid 编号:表示驱动观察到的异常类别。
  • PID 和进程名:提供关联线索,但不一定代表进程就是根因。
  • Channel:用于进一步判断 GPU 上下文或执行通道。

不同 GPU 架构、驱动版本和运行环境对 Xid 的表现可能存在差异,具体含义应结合对应版本的 NVIDIA Xid 文档和现场日志确认。下面的编号适合作为初步分流,不应当替代完整分析。

常见 Xid通常关注的方向首要关联日志或字段
Xid 13图形或计算引擎异常进程、通道、此前是否出现非法访问或内核异常
Xid 31GPU 内存页错误、MMU FaultGPU 虚拟地址、访问类型、进程、应用内核和输入任务
Xid 43GPU 停止处理请求同一时间前后的 Xid、GPU 是否被重置、任务是否退出
Xid 48双比特 ECC 错误ECC 计数、Retired Pages、Row Remapping、硬件事件
Xid 74NVLink 相关异常GPU 拓扑、NVLink 状态、同一链路上的其他 GPU 日志
Xid 79GPU 从 PCIe 总线上掉线PCIe AER、BMC 电源事件、链路状态、插槽和转接设备

例如,Xid 31 可能与应用的非法显存访问有关,也可能是在驱动、硬件或特定工作负载组合下暴露出来的异常。Xid 79 更应该优先查看 PCIe、电源和主机侧日志,而不是先从应用代码入手。

现象确认:先固定设备、时间和影响范围

排查之前不要急着重启或清理日志。先把设备身份、驱动版本和故障时间保存下来。下面命令适用于使用 NVIDIA 驱动的 Linux 服务器,主要是只读操作。

date --iso-8601=seconds
cat /proc/sys/kernel/random/boot_id
uname -a
cat /etc/os-release
nvidia-smi
nvidia-smi -L

正常情况下可以看到驱动版本、GPU 型号、显存占用和 GPU 列表。boot_id 用于区分不同启动周期,避免把上一次启动留下的日志与本次故障混在一起。

进一步记录 GPU 的稳定身份:

nvidia-smi --query-gpu=index,uuid,pci.bus_id,name,driver_version --format=csv

排查过程中不要只使用 GPU index。例如 GPU 0 在设备重启、MIG 配置变化或部分调度环境中可能发生变化。GPU UUID 和 PCI Bus ID 更适合用来跨日志关联。

如果 nvidia-smi 能够正常列出 GPU,说明用户态工具当前仍能与驱动通信,但不能据此证明故障已经消失。执行 Xid 后,GPU 可能暂时恢复,也可能已经处于部分不可用状态。

如果出现以下提示:

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.

应先保留现场并查看内核、PCIe 和 BMC 日志,不要直接反复执行 GPU reset 或重新安装驱动。此时需要先判断是驱动模块异常、GPU 掉线、主机 PCIe 链路问题,还是设备本身没有完成初始化。

确定故障时间窗

如果业务监控可以提供精确时间,建议以 Xid 时间前后至少 5 分钟作为第一轮窗口;如果只能确认某个任务失败时间,可从任务开始前几分钟查到任务结束后几分钟。

当前启动周期的内核日志可以这样查看:

journalctl -k -b -o short-precise --since "30 minutes ago"

筛选 NVIDIA、PCIe 和硬件相关事件:

journalctl -k -b -o short-precise | \
grep -Ei 'NVRM|Xid|AER|pcie|fallen off the bus|mce|edac|iommu|hardware error'

预期结果是能够看到 Xid 前后的完整上下文。如果没有任何输出,不一定代表没有故障,可能原因包括:

  • 日志已经滚动或当前启动周期不是故障发生的启动周期;
  • 系统使用的是 /var/log/messages 或 /var/log/syslog;
  • 日志级别或采集策略过滤了内核信息;
  • Xid 发生在容器或虚拟化环境的宿主机,当前节点不是实际记录位置。

在使用传统 syslog 的系统中,还需要检查:

grep -Ei 'NVRM|Xid|AER|pcie|fallen off the bus|mce|edac|iommu' \
/var/log/messages /var/log/syslog 2>/dev/null

不要在完成证据留存前清空日志、重启 journald 或重置 ECC 计数。计数清零会破坏前后对比所需的基线。

建立日志时间线:先找最早出现的异常

Xid 通常是多个事件中的一个。定位重点不是“看到了哪个 Xid”,而是确认在 Xid 之前最早发生了什么。

建议至少收集以下几类记录:

日志来源重点字段能回答的问题
内核日志时间、Xid、PCI 地址、PID、AER、MCEGPU 驱动和主机是否同时报错
nvidia-smi 状态UUID、Bus ID、温度、功耗、ECC、掉页和重映射GPU 是否有硬件状态异常
应用日志作业 ID、进程、模型或内核、CUDA 错误、退出时间哪个任务触发或观察到错误
容器或调度日志Pod、容器、作业号、节点、GPU UUID进程与物理 GPU 如何对应
BMC/SEL电源、温度、风扇、PCIe、掉电、机器检查主机硬件是否在同一时间出现异常
监控时序数据温度、功耗、频率、利用率、ECC、Xid 数量异常前是否有趋势或突变

下面这段日志仅用于说明关联方式,并不表示已在读者环境中执行:

建立日志时间线:先找最早出现的异常配图

10:14:01.906  job=84217 step=compute-3  launch kernel attention_fwd
10:14:02.118  GPU-3b UUID=GPU-xxxx  temperature=71C power=286W
10:14:02.441  pcieport 0000:3a:00.0: AER: Corrected error received
10:14:02.482  kernel: NVRM: Xid (PCI:0000:3b:00): 31, pid=18452, name=python3
10:14:02.519  job=84217 CUDA error: an illegal memory access was encountered
10:14:03.007  scheduler: job=84217 task exited with code 1

这条时间线中,应用任务先启动内核,随后出现 PCIe Corrected Error,再出现 Xid 31,最后应用报告 CUDA 错误。它不能直接证明 PCIe 是根因,但已经足以说明不能只检查应用代码,需要同步调查链路和主机侧异常。

反过来,如果应用先出现固定内核的非法访问,随后才出现 Xid 31,并且没有 AER、ECC、温度或电源异常,那么应用内核或驱动兼容性应当排在更前面。

处理不同日志的时间差

不同日志源的时间戳可能不是同一种时间:

  • 内核日志通常使用主机系统时间;
  • 容器日志可能包含 UTC 或由运行时转换的时间;
  • BMC 事件使用独立时钟,可能存在数分钟偏差;
  • 监控系统的采集时间与实际事件时间可能相差一个采集周期;
  • 某些驱动日志只提供秒级精度。

关联前应确认时区、NTP 状态和机器时间。多个节点同时出现 Xid 时,要优先比较它们的绝对时间和共同依赖,例如同一机架电源、同一 PCIe 交换芯片或同一驱动发布版本。

由外到内排查 GPU Xid

1. 先看电源、温度和主机环境

如果 Xid 前后出现温度过高、功耗突降、风扇异常、整机重启或 BMC 电源事件,应先排查服务器环境。

查看 GPU 当前状态:

nvidia-smi -q -i 0

重点查看以下部分:

  • Temperature:当前温度、温度阈值和是否发生过温;
  • Power Readings:当前功耗、功耗上限、功耗管理状态;
  • Clocks 和 Performance State:频率是否异常下降;
  • ECC Errors:Volatile 与 Aggregate 计数;
  • Retired Pages:是否存在显存页退休;
  • Row Remapper:是否出现行重映射或待处理状态;
  • GPU Recovery Action:驱动是否建议重置或重新初始化。

不同型号并不一定提供全部字段。字段缺失不能直接视为正常,需要结合 GPU 型号和驱动版本判断。

查询一次当前温度、功耗和利用率:

nvidia-smi --query-gpu=timestamp,index,pci.bus_id,temperature.gpu,power.draw,utilization.gpu,utilization.memory,memory.used,memory.total --format=csv

这个结果只能反映采集时刻,不能替代故障发生前的历史监控。例如 Xid 已经发生半小时后,当前温度正常,并不能排除故障发生瞬间存在风扇停转或电源波动。

如果服务器安装了 BMC 管理工具,可以读取系统事件日志:

ipmitool sel elist

重点找与故障时间接近的:

  • 电源丢失或电源冗余切换;
  • 风扇异常;
  • 进气或出风温度超限;
  • PCIe 错误;
  • Machine Check 或内存错误;
  • 主板、背板、PCIe 交换芯片异常。

BMC 的 SEL 可能保留旧事件,不要只看到“有错误”就与本次 Xid 绑定。应核对事件时间、事件状态和是否在同一启动周期内发生。

2. 再看 PCIe 链路和主机内核

Xid 79 或“GPU has fallen off the bus”出现时,优先检查 PCIe。即使 Xid 不是 79,只要同时出现 AER、链路重训练或设备消失,也应沿这条路径排查。

由外到内排查 GPU Xid—先看 PCIe 链路和主机内核配图

先用 GPU 的 Bus ID 查看 PCIe 详细信息:

lspci -D -nn -s 0000:3b:00.0 -vv

将 0000:3b:00.0 替换为实际的 PCI 地址。重点关注:

  • LnkSta 中的当前链路速率和宽度;
  • LnkCap 中的设备支持能力;
  • AER 能力是否存在;
  • Corrected、Non-Fatal、Fatal Error 状态;
  • Completion Timeout、Bad TLP、Receiver Error、Surprise Down;
  • 链路是否降速或降宽。

同时检查本次启动周期中的 PCIe 事件:

journalctl -k -b -o short-precise | \
grep -Ei 'AER|pcieport|Corrected|Uncorrected|Fatal|Surprise Down|Completion Timeout|fallen off'

不同结果的含义不一样:

  • 只有 Corrected Error,且没有 Xid 或任务失败,可能是链路纠错后恢复,但仍值得观察是否重复增加;
  • Non-Fatal 或 Fatal Error 与 Xid 同时出现,优先检查插槽、转接卡、PCIe 交换芯片、供电和固件;
  • Xid 79 后设备从 lspci 或 nvidia-smi 中消失,通常不是普通应用参数错误;
  • 多张 GPU 在同一秒掉线,更应该检查主机电源、PCIe 交换芯片、主板固件或整机环境;
  • 只有一张卡在固定插槽重复掉线,可以安排停机后进行插槽、转接设备和 GPU 的交叉验证。

交叉验证时要一次只改变一个变量。例如先更换插槽,再观察同一 GPU;或者保持插槽不变,更换 GPU。否则同时更换 GPU、驱动和转接卡,最终无法判断哪个变化解决了问题。

3. 检查驱动、内核和 CUDA 运行环境

记录驱动和内核信息:

nvidia-smi
modinfo nvidia | grep -E '^(version|srcversion):'
cat /proc/driver/nvidia/version
uname -r

要注意,nvidia-smi 输出中的 CUDA Version 通常表示当前驱动能够支持的最高 CUDA 版本,不等于应用实际使用的 CUDA Runtime 版本。容器中的 CUDA Runtime、框架构建版本和宿主机驱动需要分别确认。

应用侧还应记录:

  • 框架名称和版本;
  • CUDA Runtime 和 cuDNN 等组件版本;
  • 容器镜像版本;
  • 任务使用的 GPU 数量及并行方式;
  • 是否启用了 MIG、P2P、NVLink 或统一内存;
  • 发生错误的具体模型、算子、批大小和输入特征;
  • 任务是否在近期更换过驱动、内核、容器或编译选项。

对于 Docker 容器,可以按故障时间查看日志:

docker logs --timestamps --since 30m CONTAINER_ID

Kubernetes 环境可以查看带时间戳的容器日志:

kubectl logs --timestamps --since=30m POD_NAME -c CONTAINER_NAME

实际命令需要使用现场的容器、Pod 和容器名称。若任务已经结束,应从任务系统、作业调度器和集中日志平台补齐记录。

Xid 中的 PID 是宿主机视角的 PID,容器内看到的 PID 可能不同。不能仅凭容器日志中的 pid=1 或应用自身 PID 直接与 Xid 关联,应结合容器 ID、启动时间、作业 ID和 GPU UUID确认。

如果错误只在一个固定 CUDA 内核、固定输入或固定批大小下复现,可以在非生产 GPU 或维护窗口中进行针对性验证。调试时使用 CUDA_LAUNCH_BLOCKING=1 可能改变异步执行行为,因此它适合帮助定位调用位置,不应直接作为生产修复方案。对计算内核进行更深入的内存检查也可能显著降低速度并改变时序,应先复制任务环境,再进行测试。

4. 检查 ECC、显存页和 GPU 内部状态

ECC 类 Xid、Xid 48、显存页退休或行重映射异常,应重点查看 nvidia-smi -q 的完整输出。

nvidia-smi -q -i 0

分析时区分以下概念:

  • Volatile ECC:用于观察当前驱动或当前运行周期内的变化;
  • Aggregate ECC:可能包含更长时间范围的累计信息;
  • Retired Pages:显存页是否因为可靠性问题被退休;
  • Pending Page Retirement:是否需要在后续重启或复位后处理;
  • Row Remapping:显存行是否发生重映射或达到阈值;
  • Corrected 与 Uncorrected:可纠正错误与不可纠正错误的风险级别不同。

这些计数的具体起始时间取决于设备、驱动和平台,不应把绝对值直接当作本次故障产生的数量。更可靠的做法是在处理前保存一次基线,修复后再保存一次,通过增量判断是否仍在增长。

如果出现不可纠正 ECC、双比特 ECC、持续增加的退休页,或者多次在不同任务中出现显存相关 Xid,应将设备从调度池中暂时摘除,避免继续承载重要任务。此时应用层重试只能掩盖问题,不能替代硬件健康检查。

多 GPU 服务器还要检查拓扑和 NVLink:

nvidia-smi topo -m
nvidia-smi nvlink -s -i 0

nvidia-smi nvlink -s 在不同驱动版本和设备上支持的字段可能不同。如果命令不支持,应以 nvidia-smi -q、驱动文档或平台监控数据为准。

出现 NVLink 相关 Xid 时,要同时比较链路两端 GPU 的日志,检查是否只有一条链路异常,还是同一节点多条链路同时异常。单条链路故障与整机电源或主板问题的处理路径不同。

5. 将 Xid 与具体任务关联,而不是直接归因于 PID

Xid 日志中的进程名和 PID 很有价值,但它们只是发生现场的上下文。GPU 工作通常是异步提交的,驱动报告错误时,进程可能正在等待此前提交的内核完成。因此,出现在 Xid 记录中的进程不一定就是最早触发错误的那一段代码。

应继续核对:

  • Xid 前最后一次提交的 CUDA 内核;
  • 该内核使用的输入张量、显存地址和批大小;
  • 是否只在多 GPU 或 P2P 模式下出现;
  • 是否只在某一张物理 GPU 上出现;
  • 相同容器和任务换到另一张 GPU 后是否复现;
  • 相同 GPU 运行其他任务是否也失败。

如果同一任务换到不同 GPU 后始终复现,而其他任务正常,应用或运行时的优先级上升。如果不同任务都在同一张 GPU 上失败,硬件或 GPU 状态问题的优先级上升。如果同一节点上的多张 GPU 同时失败,则主机环境、驱动或互联链路更值得优先调查。

将 Xid 与具体任务关联,而不是直接归因于 PID配图

根据证据分支处理

下面的分支不是单个 Xid 的固定结论,而是根据日志组合确定下一步。

证据组合优先怀疑方向下一步
单次 Xid,任务失败后 GPU仍可见,无 AER、ECC、温度异常特定任务、驱动边界或偶发软件异常保存现场,复现同一任务并观察是否重复
Xid 31,固定内核和输入稳定复现非法显存访问、运行时或应用内核在隔离环境中定位内核和框架版本
Xid 48 或不可纠正 ECC,退休页持续增加GPU 显存或板卡可靠性问题摘除 GPU,执行厂商诊断或更换
Xid 79,同时出现 AER、链路掉线或 BMC 电源事件PCIe、供电、插槽、转接设备或主板维护窗口中进行单变量交叉验证
多张 GPU 同时出现 Xid主机电源、驱动、固件、PCIe 交换芯片或整机环境对比同机其他设备和同批次节点
只有某个驱动或容器版本出现软件兼容性或回归保留当前环境,使用已验证版本进行对照测试
nvidia-smi无法通信,设备从 PCIe 中消失GPU掉线、链路或设备初始化失败先保存日志,再安排节点维护和硬件检查
Xid 前已有 MCE、EDAC 或 IOMMU 错误主机 CPU、内存、DMA 或 IOMMU 环境扩大到主机硬件和内核配置排查

只有应用报错,没有基础设施异常

这类情况不代表可以立即关闭告警。应先确认:

  1. 同一任务能否在另一张 GPU 上完成;
  2. 同一 GPU 运行其他任务是否稳定;
  3. Xid 是否总是与同一内核、输入和批大小同时出现;
  4. 驱动、容器和框架是否近期发生变化;
  5. 任务是否使用了未验证的自定义 CUDA 扩展。

如果可以稳定复现,应保留最小复现条件,包括 GPU 型号、驱动、CUDA Runtime、框架版本、编译选项和输入规模。最小复现比完整业务日志更适合提交给开发或驱动支持团队。

Xid 与 PCIe、BMC 错误同时出现

不要先把问题归结为驱动。应在维护窗口中按风险从低到高检查:

  1. 确认 GPU 辅助供电和服务器电源冗余状态;
  2. 检查机箱温度、风扇和 BMC 事件;
  3. 查看 PCIe 链路速率、宽度和 AER 计数;
  4. 在停机条件允许时检查插槽、背板、转接卡和线缆;
  5. 一次只替换一个部件进行交叉验证;
  6. 如果问题跟随 GPU 移动,优先怀疑 GPU;
  7. 如果问题留在原插槽,优先怀疑插槽、转接设备或主板。

硬件操作前应将节点从调度系统中排空,确认没有运行中的任务,并保存设备序列号、UUID、PCI 地址和故障日志。不要在业务运行期间拔插 GPU 或重新连接供电线缆。

ECC 或退休页异常

如果发现不可纠正 ECC、持续增加的退休页或行重映射异常,应降低继续使用该设备的优先级。可执行的处理顺序通常是:

  • 停止向该 GPU 分配新任务;
  • 保存 nvidia-smi -q 和内核日志;
  • 记录修复前的 ECC、退休页和重映射基线;
  • 通过平台厂商工具执行离线诊断;
  • 根据诊断结果安排 GPU 更换或整机维护;
  • 修复后重新采集计数,确认没有新增异常。

不要用重启或清零计数来掩盖硬件错误。计数消失并不等于硬件问题已经解决。

修复时按风险逐级推进

先处理应用和运行环境

对于只在特定任务中出现的 Xid,可以优先进行不改变主机硬件的验证:

  • 使用同一镜像在另一张 GPU 上运行;
  • 使用已知稳定的框架或运行时版本做对照;
  • 降低并发度或关闭 P2P,判断错误是否与互联路径有关;
  • 使用最小输入和较小批大小复现;
  • 对比近期变更前后的代码、镜像和驱动版本。

每次只改变一个因素,并记录任务 ID、GPU UUID和结果。容器镜像、驱动包和配置文件应保留可回退版本,避免多个变量同时变化。

GPU reset 只适合空闲设备

部分 GPU 支持以下复位方式:

nvidia-smi --gpu-reset -i 0

这是有影响的操作,不应在生产任务运行时执行。执行前必须满足:

  • GPU 已从调度系统排空;
  • 没有其他进程、容器、MIG 实例或图形会话占用;
  • 已经保存 Xid、ECC、PCIe 和应用日志;
  • 确认当前 GPU 型号、驱动版本和平台支持该功能;
  • 已安排失败后的维护处理。

GPU reset 可能终止正在使用该设备的任务,而且并非所有 GPU、MIG 配置或 PCIe 拓扑都支持无重启复位。执行失败时不要连续重复尝试,应回到内核和硬件日志判断设备状态。复位本身不是根因修复,只能用于验证 GPU 是否能够重新初始化。

驱动、内核和固件变更

只有在证据指向软件兼容性或已知版本问题时,才建议安排驱动、内核或固件变更。变更前应记录:

  • 当前 NVIDIA 驱动包和内核版本;
  • CUDA Runtime、框架和容器版本;
  • GPU 固件和服务器 BIOS/BMC 版本;
  • 现有配置文件和调度节点标签;
  • 可回退的软件包或镜像版本。

驱动和固件升级通常需要维护窗口,部分操作会触发重启并中断节点上的全部任务。不同发行版的安装和回退命令差异较大,不应直接套用另一发行版的包管理命令。升级后应先在一台隔离节点或一张空闲 GPU 上验证,再扩大范围。

Windows Server 环境下的日志位置

如果 GPU 服务器运行 Windows Server,判断原则相同,但日志入口不同:

  • 事件查看器的 Windows Logs → System;
  • 来源为 Display、nvlddmkm 的显示驱动事件;
  • 来源为 WHEA-Logger 的 PCIe、总线和硬件错误;
  • 服务器厂商的 BMC、硬件监控和系统事件日志;
  • 应用自身的事件日志、服务日志和任务调度记录;
  • nvidia-smi 输出的 GPU 状态、ECC 和设备识别信息。

Windows 事件查看器中的事件时间、设备实例路径和 PCIe/BDF 信息同样需要与应用失败时间对齐。若只看到显示驱动重置,而没有 WHEA 或硬件事件,应继续区分应用超时、驱动恢复和真实设备掉线,不能把所有显示驱动事件都视为同一种硬件故障。

修复后的验证不能只看一次 nvidia-smi

修复或复位后,先进行设备识别和状态验证:

nvidia-smi -L
nvidia-smi
nvidia-smi -q -i 0
lspci -D -nn -s 0000:3b:00.0 -vv

需要确认:

  • GPU UUID 和 PCI 地址与预期一致;
  • nvidia-smi能够稳定返回;
  • GPU 没有持续出现新的 Xid;
  • ECC、Retired Pages 和 Row Remapping 没有继续增加;
  • PCIe 链路速率和宽度符合平台设计;
  • 温度、功耗和频率处于正常工作范围;
  • 调度系统已经正确识别并分配该 GPU。

随后运行与原故障相同或接近的代表性任务。不要只运行一个很短的空载测试,因为很多错误只会在特定显存占用、并发度、P2P通信或持续负载下出现。

验证时至少记录以下指标:

  • Xid 新增数量;
  • AER Corrected、Non-Fatal 和 Fatal 计数;
  • ECC 计数增量;
  • GPU 温度、功耗和频率;
  • 任务失败率和重试次数;
  • GPU reset、节点重启和设备重新枚举次数;
  • 同一任务在不同 GPU 上的执行结果。

如果问题只在业务峰值或长时间运行时出现,观察周期应覆盖相应的负载阶段,而不是只看一次启动后的几分钟。累计型计数需要用修复前后的差值判断,不能因为总数很大就误判为本次新增,也不能因为复位后显示为零就认为故障彻底消失。

复测与持续观察

完成一次复测后,应继续保留 GPU UUID、PCI 地址、驱动版本和任务 ID之间的对应关系,并为 Xid、AER、ECC、温度和功耗设置关联告警。告警内容至少应包含发生时间、节点、GPU UUID、Xid 编号、作业 ID和当前任务,而不是只发送一条“GPU异常”的摘要。

后续再次出现 Xid 时,先比较它与历史事件的相似性:

  • 是否仍然发生在同一 GPU;
  • 是否仍然由同一任务或同一内核触发;
  • 是否仍然伴随 AER、ECC或 BMC 事件;
  • 是否从偶发变成连续;
  • 是否扩展到同一节点的其他 GPU。

如果 Xid 不再出现,且代表性任务、峰值负载和持续运行观察都通过,说明当前处置具有较好的验证结果,但仍应保留原始日志和修复记录。若 Xid 在相同条件下再次出现,应回到时间线,比较修复前后的第一条异常,而不是重复执行相同的 reset 或重启操作。

对于涉及 GPU 计算的 AI 推理、模型测试与图像处理,A5idc数据提供香港和美国 GPU 服务器,配置涵盖 A100 80GB、RTX 4090,并搭配服务器 CPU、内存和 NVMe 存储。香港方案提供 CN2 线路,美国方案可选 1Gbps 三网直连回国或 3Gbps 国际带宽,为不同部署地区的 GPU 工作负载提供相应硬件与网络资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9411.html

相关推荐