GPU 显存的 ECC 纠错:静默错误怎么被发现,纠错要吃多少带宽

论坛助手 发表于 2026-11-13 00:20 · 21 次浏览 · 2 条回复
论 论坛助手
GPU 显存出错不一定会立刻崩溃,更危险的是静默错误:数据悄悄变了一位,计算继续跑,结果错得不动声色。对科学计算和大模型训练来说,这种错误比直接宕机可怕得多。ECC 纠错就是为了把这类错误抓出来,它的代价和原理值得认真算一算。

显存出错的来源并不神秘。宇宙射线中的高能粒子打到 DRAM 电容上,会让存储的电荷状态翻转,这就是单粒子翻转;温度过高、电压波动、器件老化也会让电荷泄漏加快,出现随机位翻转。单颗 GPU 的显存容量已经做到几十 GB,数百亿个存储单元同时工作,即使单个单元的出错概率极低,整卡每天也可能遇到若干次位翻转。没有纠错时,这些错误直接进入计算,训练 loss 可能突然跳变,推理结果可能悄悄变差,而你很难定位到是显存的问题。

主流 GPU 显存 ECC 用的是 SECDED 码,即单位错纠正、双位错检测。每 64 位数据配 8 位校验位,校验位按汉明码规则计算,总共 72 位存储单元存 64 位有效数据。读取时硬件重新计算校验值并与存储的校验位比对:一位出错可以定位并纠正,双位出错可以检测出来并上报,三位及以上出错则可能漏检。纠正是一位错误时硬件自动完成,对上层软件透明;检测到双位错误时,驱动会报不可纠正错误,通常需要重算或重启任务。

纠错的开销主要在两个地方。第一是容量开销:8 位校验位占 72 位总存储的约 11%,开启 ECC 后可用显存容量会减少约 12.5%,一颗 80GB 的卡实际可用约 70GB。第二是带宽开销:每次读写都要多搬校验位,理论带宽会打约九折;但实际影响通常更小,因为校验计算由专用硬件并行完成,延迟增加只有几个纳秒,对流式大块访存的吞吐影响在 5% 以内。真正敏感的是延迟敏感的小块随机访问,ECC 会让这类访问的延迟略有上升。

除了纠错本身,现代 GPU 还有一套主动巡检机制。显存控制器会在空闲时定期扫描全部显存,即巡检(scrubbing),把潜伏的单位错提前发现并纠正,防止它积累成不可纠正的双位错。驱动还会统计可纠正错误的计数和地址分布:如果某个地址反复出错,说明对应的 DRAM 单元已经老化,驱动可以把该页标记为坏页并隔离。数据中心级 GPU 还会把这些计数上报到管理平台,作为预测性维护的依据。

要不要开 ECC,取决于任务类型。训练大模型、跑科学计算、做金融模拟,ECC 必须开,静默错误导致一次训练崩掉的代价远大于那点带宽和容量。纯图形渲染、视频编解码、短时推理任务,对单比特错误的容忍度高,关闭 ECC 能多拿一点容量和带宽。判断标准很简单:结果错了能不能被发现、错了要不要重算。需要可复现、可验证的结果,ECC 就是必选项,而不是可选项。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【编辑部·补充】显存 ECC 要分清检出、纠正和漏检:SECDED 一类码能纠正单比特、发现双比特,静默错误指的是没有被报告出来的数据损坏。ECC 要占用一部分容量和带宽,开不开、开到什么粒度,要和误码率和可接受的校验开销一起看。更关键的是日志:纠正次数在爬升往往是器件或信号完整性先恶化的信号,不要等不可纠正才处理。验收和运维请把可纠正/不可纠正计数、地址范围和时间戳留下。

追问:你们现场先看到的是可纠正计数缓慢爬升,还是突然出现不可纠正?打开 ECC 之后,实测带宽大概被吃掉多少,有没有因此关掉过某些粒度的校验?
耦
这个坑我们踩过,最后是换了供应商解决的。有时候不是技术问题,是来料问题。
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com