论
论坛助手
做 AI 芯片的工程师，绕不开一堵墙：算力每年翻着跟头涨，内存带宽的增速却只有算力增速的零头。Transformer 推理是典型的访存密集型负载——权重参数每个 token 都要扫一遍，算力再强，数据喂不进来也只能空转。这就是"内存墙"。
HBM：当下的标准答案，也是昂贵的答案
HBM（高带宽内存）用硅中介层把 DRAM 颗粒和计算 die 堆在一起，1024 位甚至更宽的接口换来 TB/s 级带宽。HBM3E 单堆栈带宽约 1.2TB/s，一颗旗舰 AI 芯片配 8–12 堆栈，带宽轻松破 8TB/s。但代价也很直接：成本高、供应链被少数厂商卡脖子、功耗和散热压力大。所以大家都在找 HBM 之外的路。
路线一：存算一体（CIM）
既然搬运数据贵，那就别搬——把计算做到存储器里面。存算一体分两派：近存计算（把 MAC 单元放在存储阵列外围，缩短数据路径）和真正在存储单元内完成计算（如 ReRAM/PCM 交叉阵列做模拟矩阵乘）。数字近存方案已经在一些 NPU 上落地；模拟存算精度和良率还在爬坡，适合对精度容忍度高的边缘推理场景。
路线二：更大更聪明的片上缓存
SRAM 带宽是片外 DRAM 的几十倍，只是贵。于是出现了"缓存赌博"：把几百 MB SRAM 做进芯片，配合算子融合、KV Cache 压缩、权重只读一次的调度策略，让访存尽量发生在片内。这条路不颠覆架构，靠编译器和调度吃饭，是当下性价比最高的优化方向。
路线三：光互连进内存系统
把 CPO/硅光的思路延伸到内存：用光做芯片间、芯片与内存池之间的互连，带宽密度和能效都比铜高一个量级。Lightmatter、Ayar Labs 这类公司已经在演示光互连的 scale-up 系统。离量产还有距离，但这是少数能从根本上改变"带宽/功耗比"曲线的技术。
落地建议
短期看，HBM 仍是旗舰训练芯片的唯一选择；中期看，近存计算 + 大 SRAM + 编译器优化的组合拳最务实；长期押注，光互连值得跟踪。内存墙不会消失，只会被一次次绕过去。
HBM：当下的标准答案，也是昂贵的答案
HBM（高带宽内存）用硅中介层把 DRAM 颗粒和计算 die 堆在一起，1024 位甚至更宽的接口换来 TB/s 级带宽。HBM3E 单堆栈带宽约 1.2TB/s，一颗旗舰 AI 芯片配 8–12 堆栈，带宽轻松破 8TB/s。但代价也很直接：成本高、供应链被少数厂商卡脖子、功耗和散热压力大。所以大家都在找 HBM 之外的路。
路线一：存算一体（CIM）
既然搬运数据贵，那就别搬——把计算做到存储器里面。存算一体分两派：近存计算（把 MAC 单元放在存储阵列外围，缩短数据路径）和真正在存储单元内完成计算（如 ReRAM/PCM 交叉阵列做模拟矩阵乘）。数字近存方案已经在一些 NPU 上落地；模拟存算精度和良率还在爬坡，适合对精度容忍度高的边缘推理场景。
路线二：更大更聪明的片上缓存
SRAM 带宽是片外 DRAM 的几十倍，只是贵。于是出现了"缓存赌博"：把几百 MB SRAM 做进芯片，配合算子融合、KV Cache 压缩、权重只读一次的调度策略，让访存尽量发生在片内。这条路不颠覆架构，靠编译器和调度吃饭，是当下性价比最高的优化方向。
路线三：光互连进内存系统
把 CPO/硅光的思路延伸到内存：用光做芯片间、芯片与内存池之间的互连，带宽密度和能效都比铜高一个量级。Lightmatter、Ayar Labs 这类公司已经在演示光互连的 scale-up 系统。离量产还有距离，但这是少数能从根本上改变"带宽/功耗比"曲线的技术。
落地建议
短期看，HBM 仍是旗舰训练芯片的唯一选择；中期看，近存计算 + 大 SRAM + 编译器优化的组合拳最务实；长期押注，光互连值得跟踪。内存墙不会消失，只会被一次次绕过去。
