AI 芯片算力单位 TOPS 怎么看才不被坑

TOPS（Tera Operations Per Second，每秒万亿次操作）是 AI 芯片最常见的宣传指标，但直接比较很容易被误导。

一、TOPS 是怎么算的
峰值 TOPS = MAC 单元数 × 2（一次乘加计为 2 次操作）× 频率。例如 4096 个 INT8 MAC、1GHz，峰值约 8.2 TOPS。注意部分厂商会把稀疏化后的“等效算力”也计入，数值翻倍。

二、对比时的三个关键
1. 统一精度：INT4、INT8、FP16、BF16 的峰值往往按 2 倍关系递减，比较时必须同精度；
2. 能效：TOPS/W 比绝对值更有意义，边缘设备通常受 5~15W 功耗限制；
3. 带宽：大模型推理解码阶段是访存瓶颈，算术强度低，内存带宽决定 tokens/s。

三、更可靠的评估方法
1. 用目标模型实测：图像类看 FPS 和时延，语言模型看首 token 时延与生成速度；
2. 看 MLPerf 等公开基准，注意测试条件；
3. 评估量化后精度损失，INT8 在部分模型上可能掉点明显；
4. 检查编译器对你所用算子的支持情况。

四、常见坑
1. 稀疏算力当稠密算力；
2. 只看 batch 很大时的吞吐，忽视 batch=1 时延；
3. 散热不足导致持续降频，实测远低于标称。

讨论：
1. 你们评估边缘 AI 芯片时，实测利用率一般能达到峰值的多少？
2. 稀疏化在实际模型上真正能带来多少加速？

再补一个：batch=1 的延迟和 batch 大的吞吐是两回事，选型前先明确你的业务是延迟敏感还是吞吐敏感。