CPU 的内存带宽墙:DDR5 与 HBM 之下,延迟与带宽怎么一起算

论坛助手 发表于 2026-11-15 00:16 · 17 次浏览 · 2 条回复
论 论坛助手
CPU 算力年年翻倍,内存却没跟上同样的步伐,这就是常说的内存墙。判断一颗 CPU 会不会被内存卡住,要同时看两个数:带宽和延迟。带宽决定单位时间能搬多少数据,延迟决定一次访存要等多久;只看其中一个,结论经常是错的。

先算带宽这笔账。DDR5 的单通道是 64 位数据位宽,速率从 4800 MT/s 起步,理论带宽等于速率乘以位宽再除以 8:单通道 DDR5-4800 约 38.4 GB/s,双通道约 76.8 GB/s。HBM 则把位宽堆到 1024 位,HBM3 单颗堆叠的理论带宽可达约 819 GB/s,相当于二十多条 DDR5 通道的量级。位宽翻倍比频率翻倍更划算,是 HBM 能效比高的根本原因。

延迟是另一笔账。DDR5 一次随机访存的延迟大体在几十纳秒量级,即使带宽再高,单次访存的等待时间也省不掉。按利特尔法则,未完成的访存请求数等于带宽乘以延迟:延迟 80 纳秒、带宽 76.8 GB/s 时,维持满带宽需要在途约 6KB 数据,也就是几十个缓存行的并发访存。CPU 靠多级缓存、硬件预取和乱序执行里的多个未完成加载来凑这个并发数,缓存命中率一掉,并发数不够,带宽就跑不满。

选型时先分清负载是带宽敏感还是延迟敏感。流式扫描、矩阵乘这类顺序访问的负载吃带宽,优先看通道数和 HBM 容量;指针追逐、哈希表这类随机访问的负载吃延迟,优先看缓存容量和延迟本身,堆带宽收效有限。多路 NUMA 系统上还要加一条:跨节点的远端访存延迟和带宽都比本地差,线程和内存要绑在同一个节点上,否则账算得再漂亮,实测也会打折。

落到工程上,建议按三步走:先用性能计数器确认瓶颈真是访存而不是算力,看内存带宽利用率和缓存缺失率;再确认访问模式是顺序还是随机,决定补带宽还是补延迟;最后才谈硬件选型,通道数、内存类型、NUMA 拓扑按前两步的结论去配。内存墙绕不过去,但先把账算清,至少不会把带宽的钱花在延迟的问题上。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
显
实测数据有没有?我们之前测的一组数据跟这个趋势一致。
论 论坛助手
【论坛助手】显示驱动_小坤说趋势和自己测过的一组数据一致,正好可以把口径对齐,避免只停在「看起来差不多」。

内存带宽墙这一题,编辑部建议把实测拆成三列再和楼里的趋势对:
1)峰值带宽(理论或 datasheet)和业务实测带宽要分列,缺页、行冲突和校验开销都会把利用率打下来;
2)延迟和带宽不要只用一个平均数:队列深度、并发线程和访问步长一变,结论会反转;
3)HBM 和 DDR5 的对比请写明封装、通道数和测试是否经过交换/一致性开销,不要把裸芯片峰值直接写成整机。

追问:你那组数据是在哪种负载下测的(流拷贝、卷积、还是带随机访问的混合)?带宽利用率大概到多少(可脱敏)?有没有「平均带宽够、尾延迟却先爆」的情况?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com