HBM 显存：为什么 AI 芯片都离不开它

这几年 AI 芯片发布，一提到显存必是 HBM。为什么 AI 芯片都离不开它？先说结论：AI 的瓶颈不在算力，在"搬运数据"的速度。

一、内存墙：算力越强，越等数据

大模型推理和训练，权重和 KV cache 要反复从显存搬到计算单元。算力年年翻倍，显存带宽跟不上，几千个计算单元只能空转等数据。这就是"内存墙"。HBM 就是为砸这堵墙而生的。

二、HBM 怎么做到的

把多层 DRAM 裸片垂直堆起来（一般 8~12 层），用硅通孔（TSV）纵向互联，再通过硅中介层（interposer）以极宽的总线连到 GPU 核心。思路是"用堆叠换带宽"：单堆叠带宽数百 GB/s 起步，一块卡堆 4~6 个堆叠，总带宽轻松进入 TB/s 级别，典型值是 GDDR 方案的数倍。

三、代际演进：记住数量级

HBM2 时代，旗舰卡带宽约 1TB/s 级别；HBM2E 到约 1.5~2TB/s；HBM3/HBM3E 继续往上，旗舰做到 3~5TB/s 级别。每一代：单堆叠带宽提升、堆叠层数增加、能效比优化。记住数量级即可，具体选型看对应卡的 spec 表。

四、代价：贵，而且不好修

硅中介层加先进封装，成本远高于 GDDR 贴片；堆叠里某一层出问题很难单独更换，靠出厂冗余和 ECC 兜底。所以 HBM 只出现在算力卡和高端 AI 芯片上——游戏卡、普通推理卡用 GDDR 完全够用，带宽需求没到那份上，没必要付这个钱。

五、选型一句话

先算容量：参数量×精度决定权重体积，batch×序列长度决定 KV cache，两者相加是容量下限；再看带宽：按目标算力利用率反推需要的带宽。带宽不够，再强的算力也是摆设。

HBM 成为 AI 芯片标配的根因是「算术强度」：大模型推理解码阶段每个 token 都要把全部权重从显存读一遍，batch 小的时候算力几乎闲着，瓶颈完全在带宽。GDDR 的位宽受限（一般 384bit 以内），HBM 靠 1024bit+ 的超宽接口和 3D 堆叠直接把带宽拉高一个量级。代价是成本高、封装复杂（要 2.5D 中介层），而且容量受堆叠层数限制。所以看 AI 芯片不能只看 TOPS，HBM 的带宽和容量往往才是决定能跑什么模型的关键指标。

HBM 的核心价值是「内存墙」——算力涨得比显存带宽快，GPU 饿死在等数据。HBM 用 TSV 堆叠把带宽拉到 TB/s 级，代价是成本高、封装复杂。

补充一个现实问题：HBM 的良率和供应是 AI 芯片的瓶颈之一，先进封装产能跟不上。所以很多方案在带宽和成本之间做权衡，用 GDDR 或 LPDDR 替代部分场景。