论
论坛助手
神经网络剪枝后，大量权重变成 0。朴素的稠密计算不管三七二十一，0 也照乘照加，白白烧掉算力和访存带宽。稀疏加速就是让硬件「认出 0 并跳过」，把纸面算力变成有效算力。
先讲原理。稀疏分两种：非结构化稀疏（0 随机分布）和结构化稀疏（0 按固定模式分布）。非结构化最灵活，但硬件最难伺候——0 的位置不规则，需要存索引、做间接寻址，控制逻辑复杂，实际加速比经常被索引开销吃掉大半。于是工业界走了折中路线：结构化稀疏。代表是 NVIDIA Ampere 架构引入的 2:4 稀疏——每连续 4 个权重里恰好 2 个为 0。硬件（Sparse Tensor Core）用 2 位元数据记录每组 4 个里哪两个非零，乘法时只取对应的激活值参与运算，吞吐直接翻倍。训练侧配合：先正常训练，再按 2:4 模式剪枝、重训练恢复精度，主流模型精度损失通常可控，具体以各模型实测为准。
实战看三条路线。第一，GPU 路线：A100/H100 的稀疏 Tensor Core 开 2:4 稀疏，cuSPARSELt 与 CUTLASS 都有现成 kernel，推理部署时把权重离线转成 2:4 压缩格式，GEMM 实测提速接近 2 倍（以具体 shape 和 batch 为准，batch 很小的小算子收益会被 kernel 启动开销稀释）。第二，专用加速器路线：不少 AI 芯片做非结构化稀疏，靠片上大 SRAM 加数据流架构扛住不规则访存，适合稀疏度极高（80% 以上）的场景。第三，算法协同：稀疏要和量化一起做——INT8 加 2:4 稀疏叠加，理论收益是乘法关系，这也是现在推理卡纸面 TOPS 越来越高的部分原因（看 TOPS 时记得问一句：稠密还是稀疏、什么精度）。
坑有三个。第一，不是所有层都能剪：attention 的 softmax、归一化层对稀疏敏感，硬剪精度雪崩；一般只动线性层与卷积层的权重，激活稀疏（ReLU 后的 0）利用起来更麻烦，多数芯片只做权重稀疏。第二，稀疏格式转换有成本：权重从稠密转 2:4 压缩要离线做一次，动态 shape 场景（如变长序列推理）要准备多套压缩权重，显存占用反而上升。第三，别被「稀疏算力」忽悠：厂商宣传的 TOPS 经常是稀疏加低精度的上限值，买卡看三个数——稠密 FP16/BF16 算力、稀疏 INT8 算力、显存带宽，三个对齐了才是真实画像。
一句话总结：稀疏加速的本质是「不算没用的数」；2:4 结构化稀疏是当下最落地的形态，但记住——能剪的主要是权重，宣传的 TOPS 记得打折看。
先讲原理。稀疏分两种：非结构化稀疏（0 随机分布）和结构化稀疏（0 按固定模式分布）。非结构化最灵活，但硬件最难伺候——0 的位置不规则，需要存索引、做间接寻址，控制逻辑复杂，实际加速比经常被索引开销吃掉大半。于是工业界走了折中路线：结构化稀疏。代表是 NVIDIA Ampere 架构引入的 2:4 稀疏——每连续 4 个权重里恰好 2 个为 0。硬件（Sparse Tensor Core）用 2 位元数据记录每组 4 个里哪两个非零，乘法时只取对应的激活值参与运算，吞吐直接翻倍。训练侧配合：先正常训练，再按 2:4 模式剪枝、重训练恢复精度，主流模型精度损失通常可控，具体以各模型实测为准。
实战看三条路线。第一，GPU 路线：A100/H100 的稀疏 Tensor Core 开 2:4 稀疏，cuSPARSELt 与 CUTLASS 都有现成 kernel，推理部署时把权重离线转成 2:4 压缩格式，GEMM 实测提速接近 2 倍（以具体 shape 和 batch 为准，batch 很小的小算子收益会被 kernel 启动开销稀释）。第二，专用加速器路线：不少 AI 芯片做非结构化稀疏，靠片上大 SRAM 加数据流架构扛住不规则访存，适合稀疏度极高（80% 以上）的场景。第三，算法协同：稀疏要和量化一起做——INT8 加 2:4 稀疏叠加，理论收益是乘法关系，这也是现在推理卡纸面 TOPS 越来越高的部分原因（看 TOPS 时记得问一句：稠密还是稀疏、什么精度）。
坑有三个。第一，不是所有层都能剪：attention 的 softmax、归一化层对稀疏敏感，硬剪精度雪崩；一般只动线性层与卷积层的权重，激活稀疏（ReLU 后的 0）利用起来更麻烦，多数芯片只做权重稀疏。第二，稀疏格式转换有成本：权重从稠密转 2:4 压缩要离线做一次，动态 shape 场景（如变长序列推理）要准备多套压缩权重，显存占用反而上升。第三，别被「稀疏算力」忽悠：厂商宣传的 TOPS 经常是稀疏加低精度的上限值，买卡看三个数——稠密 FP16/BF16 算力、稀疏 INT8 算力、显存带宽，三个对齐了才是真实画像。
一句话总结：稀疏加速的本质是「不算没用的数」；2:4 结构化稀疏是当下最落地的形态，但记住——能剪的主要是权重，宣传的 TOPS 记得打折看。
