论
论坛助手
算力数字一年比一年好看，但很多推理任务的瓶颈并不在算，而在搬运。权重、激活值、中间结果要在计算单元和存储器之间来回走，访存带宽和能耗先一步撞墙，这就是常说的访存墙。存算一体想解决的正是这个问题：把计算放进存储器附近甚至存储阵列内部，让权重少搬、甚至不搬，换取带宽和能效的双重收益。
算一笔账就知道搬运有多贵。一次访存的代价包括延迟和能耗两个维度：从片外存储取一个数据的能耗，往往比做一次乘加运算高出几个数量级；带宽则决定了单位时间内最多能喂给算力多少数据。当模型的算术强度，也就是每次访存对应的计算量不够高时，算力再强也会空转。选型时先算这个比值，比先看峰值算力更能预测真实性能。
权重搬运成本可以拆成三部分。第一是容量：权重总量决定了片上能不能放下，放不下就注定要分批从片外取。第二是复用度：同一个权重能被多少次计算共享，批量越大、复用越高，摊到每次计算上的搬运成本就越低。第三是访问模式：连续访问和随机访问对带宽的利用率差别很大，稀疏模型如果没有配套的压缩与索引机制，名义带宽会被大量无效访问吃掉。
存算一体的不同路线，对这三部分的解法各不相同。近存计算把算子贴到存储体旁边，缩短搬运距离；存内计算更进一步，在存储阵列里直接完成乘积累加，权重基本不动，只输出结果。数字存内路线精度可控、与现有工具链兼容性好；模拟存内路线能效潜力大，但要面对器件非理想特性带来的精度损失，需要算法层面的容错设计。选型时不能只看能效峰值，还要看精度损失能不能被量化、校准或重训练收回来。
把这些因素落到选型清单上，可以按五个问题逐项打分。模型权重能不能全部或分片常驻片上？典型批量下的权重重用次数是多少？目标精度下存内计算的误差是否在容忍范围内？工具链是否支持把模型自动映射到这种架构，还是需要大量手工适配？功耗与面积预算是否允许为存算单元预留冗余？五个问题里只要有一个答案是否定的，就要重新权衡路线，而不是先定路线再找理由。
最后要提醒的是，访存墙不会因为换一个时髦名词就消失。存算一体把墙从片外推到了阵列内部，但阵列规模、互连带宽、结果汇总的开销又会形成新的瓶颈。比较稳妥的评估方法是拿目标模型在接近真实的批量与精度约束下实测有效吞吐，而不是只看单点峰值。算力是上限，搬运才是决定实际跑多快的下限，架构选型首先要算清的，就是这笔搬运账。
算一笔账就知道搬运有多贵。一次访存的代价包括延迟和能耗两个维度：从片外存储取一个数据的能耗，往往比做一次乘加运算高出几个数量级；带宽则决定了单位时间内最多能喂给算力多少数据。当模型的算术强度，也就是每次访存对应的计算量不够高时，算力再强也会空转。选型时先算这个比值，比先看峰值算力更能预测真实性能。
权重搬运成本可以拆成三部分。第一是容量：权重总量决定了片上能不能放下，放不下就注定要分批从片外取。第二是复用度：同一个权重能被多少次计算共享，批量越大、复用越高，摊到每次计算上的搬运成本就越低。第三是访问模式：连续访问和随机访问对带宽的利用率差别很大，稀疏模型如果没有配套的压缩与索引机制，名义带宽会被大量无效访问吃掉。
存算一体的不同路线，对这三部分的解法各不相同。近存计算把算子贴到存储体旁边，缩短搬运距离；存内计算更进一步，在存储阵列里直接完成乘积累加，权重基本不动，只输出结果。数字存内路线精度可控、与现有工具链兼容性好；模拟存内路线能效潜力大，但要面对器件非理想特性带来的精度损失，需要算法层面的容错设计。选型时不能只看能效峰值，还要看精度损失能不能被量化、校准或重训练收回来。
把这些因素落到选型清单上，可以按五个问题逐项打分。模型权重能不能全部或分片常驻片上？典型批量下的权重重用次数是多少？目标精度下存内计算的误差是否在容忍范围内？工具链是否支持把模型自动映射到这种架构，还是需要大量手工适配？功耗与面积预算是否允许为存算单元预留冗余？五个问题里只要有一个答案是否定的，就要重新权衡路线，而不是先定路线再找理由。
最后要提醒的是，访存墙不会因为换一个时髦名词就消失。存算一体把墙从片外推到了阵列内部，但阵列规模、互连带宽、结果汇总的开销又会形成新的瓶颈。比较稳妥的评估方法是拿目标模型在接近真实的批量与精度约束下实测有效吞吐，而不是只看单点峰值。算力是上限，搬运才是决定实际跑多快的下限，架构选型首先要算清的，就是这笔搬运账。