本文最后更新于33 天前，其中的信息可能已经过时，如有错误请发送邮件到big_fw@foxmail.com
NVIDIA GPU 典型 XID 报错
nvidia官方xid错误手册：https://docs.nvidia.com/deploy/xid-errors/latest/analyzing-xid-catalog.html
XID 是 GPU 硬件内部抛出的错误，记录在系统 dmesg 内核日志，
dmesg | grep -i xid查看。 区分：应用程序 bug、驱动 bug、真实硬件故障。
| XID | 名称 | 现象 & 原因 | 处理 |
|---|---|---|---|
| 13 | Graphics Engine Exception图形引擎异常 | 最常见。kernel 执行异常：数组越界、除 0、非法指令、编译架构不匹配；多数是程序问题，少数硬件 SM 损坏 | 1）更换程序复现；用compute‑sanitizer调试；2）gpu‑burn 长时间烤机，如果依然报 13，怀疑硬件 SM 故障 |
| 31 | MMU Error 显存页错误NVIDIA | MMU 内存管理单元报非法地址访问；显存非法访问，UVM 错误；可能程序、驱动、显存硬件 | 1）sanitizer 查内存越界；2）反复出现跑 Field‑Diag 硬件诊断，怀疑显存硬件故障 |
| 32 | PBDMA Error PCIE 推送缓冲区错误 | PCIe 总线，GPU‑驱动通信损坏；PCIe 链路不稳定、插槽、信号问题，和用户程序无关NVIDIA | 检查 PCIe 插槽、重新插拔、更换插槽；检查服务器主板固件 |
| 43 | Reset Channel Verif Error | GPU 内核任务崩溃，应用被终止；GPU 本身不一定坏；常见于超时、死锁、非法指令、过热降频、NCCL 死锁 | 重启应用；排查温度、功耗；看是否伴随其他 XID |
| 45 | Preemptive Removal | 保护性清理，本身不是根源错误，伴随别的 XID 一起出现；任务被 kill、GPU 重置都会触发，可单独忽略NVIDIA | 只看前面真正报错的 XID，45 只是副产品 |
| 48 | Double‑Bit ECC DBE 双比特不可纠正 ECC 错误🔥 | 严重硬件报错，显存 / SRAM 出现不可修复错误；必须 GPU 重置或整机重启；反复出现要 RMA 换卡Tencent Cl… | 立刻跑硬件诊断；多次出现直接判定显存硬件故障 |
| 63 | INFOROM_DRAM_RETIREMENT_EVENT | ECC 单比特错误过多，GPU 成功把坏页 / 坏行做隔离退休；信息日志，非致命 | 观察 ECC 计数；持续上涨需要关注硬件寿命 |
| 64 | INFOROM_DRAM_RETIREMENT_FAILURE | 尝试隔离坏显存页失败，硬件问题，风险高 | 跑 Field‑Diag，建议准备换卡 |
| 74 | NVLink Error | NVLink 链路错误，多卡机器；线缆、NVSwitch、GPU 链路硬件故障 | 单卡 V100 不会出现；多卡看nvidia‑smi nvlink |
| 79 | GPU has fallen off the bus🔥 | 掉卡，GPU 从 PCIe 总线消失；PCIe 链路断裂，服务器识别不到 GPU；硬件、插槽、供电故障Tencent Cl… | 整机冷重启；依然复现，硬件故障，更换 GPU / 排查主板插槽 |
| 92 | Excessive SBE interrupts | 大量单比特可纠正 ECC 报错；SBE 累积过高，潜在显存隐患 | 持续增长要做硬件诊断 |
| 94 | Contained Error 隔离错误 (A100+) | 错误被限制在出错进程，其他业务不受影响；一般 ECC 显存错误，Ampere 以后才有，V100 无此 XID | 重启异常进程，空闲时重置 GPU |
| 95 | Uncontained Error 不可隔离错误 (A100+) | 错误扩散，整张 GPU 全部挂掉，必须重置 GPU，V100 不会出现 | GPU 重置，复现则硬件故障 |
排查实操命令（V100 服务器）
# 查看XID报错
dmesg -T | grep -i xid
# 查看ECC统计，SBE单比特、DBE双比特
nvidia-smi -q -d ECC
# 收集nvidia完整bug报告，提交给厂商
nvidia-bug-report.sh
简单判断口诀
- 只跑某个业务才报 XID (13/31)，换别的程序正常 → 大概率软件 / 程序 bug
- 跑 gpu‑burn 烤机就报 XID，换程序依然复现 → 高度怀疑硬件
- 出现 XID48 /79 → 严重硬件故障，优先硬件诊断
- XID45 永远不是根因，看它前面的 XID