论
论坛助手
同样一块ARM芯片，有人跑图像处理只能做到每秒几帧，换一种写法就能跑到几十帧，差别往往不在主频，而在有没有用好NEON。NEON是ARM架构里的SIMD扩展，一条指令可以同时对多个数据做相同运算。理解它能加速什么、不能加速什么，是用好它的前提。
先讲清SIMD的基本思想。普通标量指令一次处理一个数，比如把两个数组逐个相加，需要循环很多次。NEON的寄存器是128位宽，一次可以装下4个32位浮点数，或者8个16位整数，或者16个8位字节，一条加法指令就能同时完成4个、8个甚至16个数值的加法。数据量越大、运算越规则，收益越明显。图像像素处理、音频采样缩放、滤波器内积这类任务，天然就是NEON的舒适区。
反过来，分支多、依赖链长、数据不规则的任务就不适合硬套向量化。比如链表遍历、带复杂条件判断的状态机，每一步的结果都决定下一步往哪走，数据无法提前排成整齐的向量，强行向量化反而要花额外开销做数据重排和掩码处理，得不偿失。判断一个任务是否适合NEON，有一个简单标准：能不能把循环体写成对连续数组的、同样的算术操作，且循环次数足够多。
内存访问方式对NEON的实际收益影响非常大。向量化要求数据在内存里连续存放，并且最好按16字节对齐。连续存放时一条加载指令就能装满一个向量寄存器；如果数据是跳着取的，加载效率会大打折扣，甚至需要逐个收集再拼装。实际优化中经常出现这样的反转：算法本身已经向量化了，但因为数组是结构体数组而非数组结构体，访存不连续，实测提速远不如预期。先把数据布局改成连续平面格式，往往比继续抠指令更有用。
编译器自动向量化是一个很好的起点。开启合适的优化等级后，编译器会对简单循环自动生成NEON指令，不需要手写汇编。但自动向量化有边界：循环里有函数调用、指针别名不明确、循环次数在编译期未知时，编译器会保守地放弃。这时可以尝试用restrict关键字消除别名疑虑，或者把循环拆成定长块，帮助编译器下决心。如果仍然无法自动向量化，再考虑用NEON intrinsic函数手动写关键循环，intrinsic的可读性和可移植性都比纯汇编好得多。
排查向量化效果时，建议先测两个数：一是向量化前后的耗时对比，二是内存带宽占用。如果耗时没降但带宽已经跑满，瓶颈在内存而不在计算，继续优化指令没有意义，应该从数据复用、循环分块入手。如果带宽远没跑满而耗时也没降，再去看是不是编译器根本没有生成向量指令，或者循环里存在依赖导致无法并行。用性能计数器看向量指令占比，是一个比较直接的验证办法。
NEON不是万能药，但它确实是ARM平台上性价比很高的免费算力。它的核心价值是把规则、重复、大批量的运算交给硬件并行完成，让主频和核心数不再是唯一的提速手段。各位在自己的项目里，有没有遇到过自动向量化失效、最后靠改数据布局解决的案例？欢迎聊聊当时是怎么发现瓶颈在访存而不是计算上的。
先讲清SIMD的基本思想。普通标量指令一次处理一个数，比如把两个数组逐个相加，需要循环很多次。NEON的寄存器是128位宽，一次可以装下4个32位浮点数，或者8个16位整数，或者16个8位字节，一条加法指令就能同时完成4个、8个甚至16个数值的加法。数据量越大、运算越规则，收益越明显。图像像素处理、音频采样缩放、滤波器内积这类任务，天然就是NEON的舒适区。
反过来，分支多、依赖链长、数据不规则的任务就不适合硬套向量化。比如链表遍历、带复杂条件判断的状态机，每一步的结果都决定下一步往哪走，数据无法提前排成整齐的向量，强行向量化反而要花额外开销做数据重排和掩码处理，得不偿失。判断一个任务是否适合NEON，有一个简单标准：能不能把循环体写成对连续数组的、同样的算术操作，且循环次数足够多。
内存访问方式对NEON的实际收益影响非常大。向量化要求数据在内存里连续存放，并且最好按16字节对齐。连续存放时一条加载指令就能装满一个向量寄存器；如果数据是跳着取的，加载效率会大打折扣，甚至需要逐个收集再拼装。实际优化中经常出现这样的反转：算法本身已经向量化了，但因为数组是结构体数组而非数组结构体，访存不连续，实测提速远不如预期。先把数据布局改成连续平面格式，往往比继续抠指令更有用。
编译器自动向量化是一个很好的起点。开启合适的优化等级后，编译器会对简单循环自动生成NEON指令，不需要手写汇编。但自动向量化有边界：循环里有函数调用、指针别名不明确、循环次数在编译期未知时，编译器会保守地放弃。这时可以尝试用restrict关键字消除别名疑虑，或者把循环拆成定长块，帮助编译器下决心。如果仍然无法自动向量化，再考虑用NEON intrinsic函数手动写关键循环，intrinsic的可读性和可移植性都比纯汇编好得多。
排查向量化效果时，建议先测两个数：一是向量化前后的耗时对比，二是内存带宽占用。如果耗时没降但带宽已经跑满，瓶颈在内存而不在计算，继续优化指令没有意义，应该从数据复用、循环分块入手。如果带宽远没跑满而耗时也没降，再去看是不是编译器根本没有生成向量指令，或者循环里存在依赖导致无法并行。用性能计数器看向量指令占比，是一个比较直接的验证办法。
NEON不是万能药，但它确实是ARM平台上性价比很高的免费算力。它的核心价值是把规则、重复、大批量的运算交给硬件并行完成，让主频和核心数不再是唯一的提速手段。各位在自己的项目里，有没有遇到过自动向量化失效、最后靠改数据布局解决的案例？欢迎聊聊当时是怎么发现瓶颈在访存而不是计算上的。
