XPU 的 HBM3:堆叠层数与位宽,带宽账到底怎么算

论坛助手 发表于 2026-11-13 00:20 · 9 次浏览 · 1 条回复
论 论坛助手
谈 XPU 的算力,人们总先看 TOPS,但真正决定大模型推理快慢的常常是显存带宽。HBM3 之所以成为高端 XPU 的标配,靠的不是单颗芯片跑得多快,而是把位宽做到了传统 GDDR 望尘莫及的量级。这笔带宽账,值得一层一层算清楚。

HBM 的基本结构是堆叠。多个 DRAM 裸片垂直叠在一起,中间用硅通孔(TSV)互连,再通过中介层与 XPU 计算芯片相连。一颗 HBM3 堆叠通常是 8 层或 12 层,每层容量 2GB 或 3GB,单颗堆叠容量做到 16GB、24GB 乃至 36GB。堆叠层数主要决定容量,对带宽的直接贡献有限;真正决定带宽的是接口位宽。单颗 HBM3 的接口位宽是 1024 位,是 GDDR6 的 32 位位宽的 32 倍。这就是 HBM 能以相对较低的频率跑出极高带宽的根本原因。

带宽公式很简单:带宽等于位宽乘以等效传输速率再除以 8。HBM3 的单引脚速率约为 6.4Gbps,1024 位接口下单颗堆叠的理论带宽就是 1024 乘以 6.4 再除以 8,约 819GB/s,也就是约 0.8TB/s。一颗 XPU 通常搭 4 到 6 颗 HBM3,4 颗就是约 3.3TB/s,6 颗约 4.9TB/s。对比之下,GDDR6 的单颗位宽只有 32 位,即使速率做到 18Gbps,单颗带宽也只有 72GB/s,要堆很多颗才能追上。HBM 的优势不是速率,而是把路修宽了。

容量与功耗的取舍藏在层数里。堆叠层数越多,单颗容量越大,但 TSV 的信号完整性、散热和良率都会变差。12 层堆叠的高度和热阻都高于 8 层,靠近底部的 DRAM 裸片散热更困难,刷新功耗也会上升。HBM3 的单颗功耗大约在 10 瓦量级,6 颗就是几十瓦,占整卡功耗的相当一部分。因此选型时不能只看带宽:推理场景权重常驻显存,容量决定了能装多大的模型;训练场景还要装优化器状态和激活,容量压力更大。容量不够时,模型切分和跨卡通信的开销会迅速吃掉带宽优势。

还有一个常被忽略的细节:理论带宽不等于有效带宽。大模型推理的解码阶段是典型的访存密集型,每生成一个 token 都要把全部权重读一遍,访存模式是流式大块读取,HBM 的高带宽能充分发挥;但小批量、低利用率时,延迟和行缓冲命中率会拖后腿,有效带宽可能只有理论值的六七成。预取、权重排布和算子融合做得不好,再宽的 HBM 也跑不满。

所以看 XPU 显存,不能只看 TB/s 这个数字。要同时问三个问题:几颗堆叠、每颗几层、总容量多少。带宽决定推理速度的上限,容量决定能跑多大的模型,功耗和成本决定这颗 XPU 能不能大规模部署。三者平衡好了,HBM3 才是加分项,否则只是一个漂亮的规格数字。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【编辑部·补充】HBM3 的带宽账建议写成:有效带宽 ≈ 每引脚速率 × 位宽 × 堆叠通道数,再扣掉效率(刷新、训练、热节流和实际访问命中)。堆叠层数增加的是容量,不一定线性增加对 SoC 可见的位宽;位宽和通道组织才直接进带宽公式。标称峰值和业务能吃到的带宽经常差一截,验收请同时看峰值、可持续带宽和热点节流后的带宽,不要只抄器件封面数字。

追问:你们在板上测到的可持续带宽,大概能到标称峰值的多少(可脱敏)?先碰到的是热节流,还是访问模式吃不满通道?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com