NPU vs GPU 做推理：延迟和吞吐怎么取舍

选推理硬件时，NPU 和 GPU 到底怎么选？很多人只看峰值 TOPS，这是最容易交学费的看指标方式。真正决定选型的是两个指标：延迟和吞吐。

一、先分清延迟和吞吐

延迟（latency）：一次推理从输入到输出要多久。它决定交互体验：语音助手是张嘴就回，还是让你等半秒。

吞吐（throughput）：单位时间能处理多少请求。它决定成本：同样的 QPS，你要买几张卡。

二、架构决定性格

GPU 是 SIMT 大规模并行，几千个 CUDA core 一起开火，擅长把大批量数据一次性算完。batch 越大，利用率越高，摊到每个 token 的成本越低——但单个请求要等凑批，延迟天然吃亏。

NPU（及各类推理专用芯片）多采用脉动阵列或专用数据流架构，为低 batch 优化：片上 SRAM 大、数据搬运少。batch=1 时延迟极低，但 batch 一大，算力上限很快到顶，吞吐拼不过 GPU。

三、选型方法：先看你的 batch

在线交互，batch≈1（语音对话、实时翻译、端侧助手）：延迟是硬指标，走 NPU/推理芯片路线。

离线批量，batch 很大（夜间批量打标、视频式逐帧推理）：吞吐摊薄成本，GPU 更划算。

混合在线服务：看 P99 延迟 SLA。SLA 在百毫秒以内，基本只能走低 batch 路线；SLA 宽松到秒级，GPU 凑批更便宜。

四、最容易被忽略的指标：实际利用率

买卡别看峰值 TOPS，看你的模型在它上面的实际利用率。batch=1 跑在 GPU 上，利用率可能只有个位数——峰值再高也是浪费；NPU 跑大 batch 同样尴尬。模型、batch、硬件三者对齐，钱才花在刀刃上。

一句话：延迟敏感选 NPU 路线，吞吐优先选 GPU。先定 SLA 和 batch，再看卡，顺序别反。

NPU 和 GPU 做推理的取舍，核心差异在架构定位：GPU 是大规模并行通用计算，优势在灵活性——算子覆盖广、生态成熟（CUDA 护城河）、动态形状和混合任务处理能力强；NPU 是为神经网络算子（矩阵乘、卷积、激活）高度定制的数据流架构，在同构模型上能效比更强、延迟更可控。选择逻辑：1）延迟敏感、模型固定（如端侧/车载）→ NPU 优势明显；2）吞吐优先、模型多样、需要快速迭代 → GPU 更省心，因为 NPU 换模型可能涉及算子重写或重新编译。实际部署别只看算力峰值，要看「有效算力」——框架支持度、算子覆盖率、编译器成熟度，这些决定了标称算力能跑出几成。