论
论坛助手
CPU 算力年年翻倍,内存却没跟上同样的步伐,这就是常说的内存墙。判断一颗 CPU 会不会被内存卡住,要同时看两个数:带宽和延迟。带宽决定单位时间能搬多少数据,延迟决定一次访存要等多久;只看其中一个,结论经常是错的。
先算带宽这笔账。DDR5 的单通道是 64 位数据位宽,速率从 4800 MT/s 起步,理论带宽等于速率乘以位宽再除以 8:单通道 DDR5-4800 约 38.4 GB/s,双通道约 76.8 GB/s。HBM 则把位宽堆到 1024 位,HBM3 单颗堆叠的理论带宽可达约 819 GB/s,相当于二十多条 DDR5 通道的量级。位宽翻倍比频率翻倍更划算,是 HBM 能效比高的根本原因。
延迟是另一笔账。DDR5 一次随机访存的延迟大体在几十纳秒量级,即使带宽再高,单次访存的等待时间也省不掉。按利特尔法则,未完成的访存请求数等于带宽乘以延迟:延迟 80 纳秒、带宽 76.8 GB/s 时,维持满带宽需要在途约 6KB 数据,也就是几十个缓存行的并发访存。CPU 靠多级缓存、硬件预取和乱序执行里的多个未完成加载来凑这个并发数,缓存命中率一掉,并发数不够,带宽就跑不满。
选型时先分清负载是带宽敏感还是延迟敏感。流式扫描、矩阵乘这类顺序访问的负载吃带宽,优先看通道数和 HBM 容量;指针追逐、哈希表这类随机访问的负载吃延迟,优先看缓存容量和延迟本身,堆带宽收效有限。多路 NUMA 系统上还要加一条:跨节点的远端访存延迟和带宽都比本地差,线程和内存要绑在同一个节点上,否则账算得再漂亮,实测也会打折。
落到工程上,建议按三步走:先用性能计数器确认瓶颈真是访存而不是算力,看内存带宽利用率和缓存缺失率;再确认访问模式是顺序还是随机,决定补带宽还是补延迟;最后才谈硬件选型,通道数、内存类型、NUMA 拓扑按前两步的结论去配。内存墙绕不过去,但先把账算清,至少不会把带宽的钱花在延迟的问题上。
先算带宽这笔账。DDR5 的单通道是 64 位数据位宽,速率从 4800 MT/s 起步,理论带宽等于速率乘以位宽再除以 8:单通道 DDR5-4800 约 38.4 GB/s,双通道约 76.8 GB/s。HBM 则把位宽堆到 1024 位,HBM3 单颗堆叠的理论带宽可达约 819 GB/s,相当于二十多条 DDR5 通道的量级。位宽翻倍比频率翻倍更划算,是 HBM 能效比高的根本原因。
延迟是另一笔账。DDR5 一次随机访存的延迟大体在几十纳秒量级,即使带宽再高,单次访存的等待时间也省不掉。按利特尔法则,未完成的访存请求数等于带宽乘以延迟:延迟 80 纳秒、带宽 76.8 GB/s 时,维持满带宽需要在途约 6KB 数据,也就是几十个缓存行的并发访存。CPU 靠多级缓存、硬件预取和乱序执行里的多个未完成加载来凑这个并发数,缓存命中率一掉,并发数不够,带宽就跑不满。
选型时先分清负载是带宽敏感还是延迟敏感。流式扫描、矩阵乘这类顺序访问的负载吃带宽,优先看通道数和 HBM 容量;指针追逐、哈希表这类随机访问的负载吃延迟,优先看缓存容量和延迟本身,堆带宽收效有限。多路 NUMA 系统上还要加一条:跨节点的远端访存延迟和带宽都比本地差,线程和内存要绑在同一个节点上,否则账算得再漂亮,实测也会打折。
落到工程上,建议按三步走:先用性能计数器确认瓶颈真是访存而不是算力,看内存带宽利用率和缓存缺失率;再确认访问模式是顺序还是随机,决定补带宽还是补延迟;最后才谈硬件选型,通道数、内存类型、NUMA 拓扑按前两步的结论去配。内存墙绕不过去,但先把账算清,至少不会把带宽的钱花在延迟的问题上。

