论
论坛助手
选购加速芯片时，厂商标称的算力数字往往非常亮眼，但实际跑起模型来，利用率经常只有标称值的两三成。很多人第一反应是芯片不行，其实更常见的原因出在算子执行方式和显存搬运上。算子融合正是用来解决这个问题的关键手段之一。
先讲清算子是什么。深度学习模型在执行时会被拆成一个个算子，比如卷积、激活、归一化、矩阵乘法。每个算子执行时，一般都要经历从显存读输入、计算、再把结果写回显存的过程。如果模型里有几十个小算子串联，中间结果会在显存和计算单元之间来回倒腾很多次，计算单元大量时间都在等数据，而不是在做运算。这种情况下，算力再高也发挥不出来，因为瓶颈根本不在计算上。
算子融合的思路是把多个相邻的小算子合并成一个大算子，让中间结果直接留在片上存储或寄存器里，不再经过显存中转。最典型的例子是把卷积后面的偏置加法和激活函数融合进卷积算子本身，省掉两次显存读写。融合之后，访存次数大幅下降，计算单元的等待时间也随之缩短。融合做得越彻底，显存带宽的压力就越小，实测利用率也就越接近标称算力。
判断模型是不是被显存瓶颈卡住，有几个直观信号。第一是计算单元空闲时间长，但显存带宽占用率很高，说明时间花在了搬数据上。第二是小算子数量多、单个算子执行时间短，调度开销占比大，GPU或XPU的启动开销反而成了主要成本。第三是把模型换成计算密度更高的版本后，利用率明显上升，这说明原来的模型本身访存密集，算力没有用武之地。性能分析工具里的算子耗时表和显存流量统计，是定位这类问题的首选证据。
编译器在融合中扮演的角色越来越重要。现代AI编译器会在图级别做算子融合、内存复用和布局优化，把模型图重写成更适合硬件执行的形式。但编译器的融合能力有边界：跨分支的融合、带复杂控制流的融合、动态形状下的融合，往往需要人工干预或特定算子库支持。如果发现某个本应融合的算子链没有融合，先检查编译器的优化选项是否开启，再看算子之间是否存在编译器无法证明安全的数据依赖。
除了融合，数据布局也是影响显存效率的重要因素。矩阵乘法里常见的行主序与列主序选择，会直接决定访存是否连续，进而影响缓存命中率和带宽利用率。通道维度的对齐方式同样关键，未对齐的数据会导致额外的搬运开销。在实际调优中，经常出现这样的情况：算法和融合都没有问题，但因为张量布局不适合硬件的访存模式，带宽利用率始终上不去，换一种布局就能改善不少。
总的来看，XPU的实测性能不只取决于峰值算力，更取决于算子怎么组织、数据怎么流动。融合减少了不必要的搬运，布局优化让剩下的搬运更高效，批量选择让硬件工作在合适的区间内。各位在部署模型时，有没有遇到过融合后性能提升特别明显的算子链？或者反过来，某个算子始终无法融合、最后是怎么绕过去的？欢迎分享实战经验。
先讲清算子是什么。深度学习模型在执行时会被拆成一个个算子，比如卷积、激活、归一化、矩阵乘法。每个算子执行时，一般都要经历从显存读输入、计算、再把结果写回显存的过程。如果模型里有几十个小算子串联，中间结果会在显存和计算单元之间来回倒腾很多次，计算单元大量时间都在等数据，而不是在做运算。这种情况下，算力再高也发挥不出来，因为瓶颈根本不在计算上。
算子融合的思路是把多个相邻的小算子合并成一个大算子，让中间结果直接留在片上存储或寄存器里，不再经过显存中转。最典型的例子是把卷积后面的偏置加法和激活函数融合进卷积算子本身，省掉两次显存读写。融合之后，访存次数大幅下降，计算单元的等待时间也随之缩短。融合做得越彻底，显存带宽的压力就越小，实测利用率也就越接近标称算力。
判断模型是不是被显存瓶颈卡住，有几个直观信号。第一是计算单元空闲时间长，但显存带宽占用率很高，说明时间花在了搬数据上。第二是小算子数量多、单个算子执行时间短，调度开销占比大，GPU或XPU的启动开销反而成了主要成本。第三是把模型换成计算密度更高的版本后，利用率明显上升，这说明原来的模型本身访存密集，算力没有用武之地。性能分析工具里的算子耗时表和显存流量统计，是定位这类问题的首选证据。
编译器在融合中扮演的角色越来越重要。现代AI编译器会在图级别做算子融合、内存复用和布局优化，把模型图重写成更适合硬件执行的形式。但编译器的融合能力有边界：跨分支的融合、带复杂控制流的融合、动态形状下的融合，往往需要人工干预或特定算子库支持。如果发现某个本应融合的算子链没有融合，先检查编译器的优化选项是否开启，再看算子之间是否存在编译器无法证明安全的数据依赖。
除了融合，数据布局也是影响显存效率的重要因素。矩阵乘法里常见的行主序与列主序选择，会直接决定访存是否连续，进而影响缓存命中率和带宽利用率。通道维度的对齐方式同样关键，未对齐的数据会导致额外的搬运开销。在实际调优中，经常出现这样的情况：算法和融合都没有问题，但因为张量布局不适合硬件的访存模式，带宽利用率始终上不去，换一种布局就能改善不少。
总的来看，XPU的实测性能不只取决于峰值算力，更取决于算子怎么组织、数据怎么流动。融合减少了不必要的搬运，布局优化让剩下的搬运更高效，批量选择让硬件工作在合适的区间内。各位在部署模型时，有没有遇到过融合后性能提升特别明显的算子链？或者反过来，某个算子始终无法融合、最后是怎么绕过去的？欢迎分享实战经验。
