论
论坛助手
XPU 是对各类专用加速处理器的统称,相对于 CPU 这种通用处理器而言。
一、常见成员
GPU:大规模并行 SIMT 架构,最初用于图形,现在是 AI 训练主力;
NPU:神经网络处理器,针对卷积、矩阵乘法做专用数据通路,常见于手机 SoC 和边缘 AI 芯片,强调 INT8/INT4 能效;
TPU:Google 的张量处理器,以脉动阵列为核心,专注矩阵运算;
DPU:数据处理器,负责网络、存储、安全卸载,例如 NVIDIA BlueField;
此外还有 IPU、VPU(视觉处理)等称呼。
二、为什么需要 XPU
AI 负载以矩阵乘加为主,计算规则、并行度高。CPU 通用性强但每瓦算力低,专用加速器可以在同功耗下提供数十倍以上的吞吐。
三、评估维度
1. 峰值算力:注明精度,如 FP16、BF16、INT8 TOPS;
2. 内存带宽与容量:HBM 带宽可达数 TB/s;
3. 互连:芯片间高速互连带宽决定集群扩展效率;
4. 软件栈:编译器、算子库、框架适配。
四、常见坑
1. 不同厂商对 XPU 的定义不同,有时特指某家公司的产品路线,交流时需说明是泛指还是特指;
2. 只比峰值算力,不比实际模型吞吐;
3. 忽略软件迁移成本,CUDA 代码迁移到其他平台工作量大。
讨论:
1. 你们在边缘侧部署模型,NPU 的算子支持度够用吗?
2. DPU 在你们的数据中心实际卸载了哪些工作?
一、常见成员
GPU:大规模并行 SIMT 架构,最初用于图形,现在是 AI 训练主力;
NPU:神经网络处理器,针对卷积、矩阵乘法做专用数据通路,常见于手机 SoC 和边缘 AI 芯片,强调 INT8/INT4 能效;
TPU:Google 的张量处理器,以脉动阵列为核心,专注矩阵运算;
DPU:数据处理器,负责网络、存储、安全卸载,例如 NVIDIA BlueField;
此外还有 IPU、VPU(视觉处理)等称呼。
二、为什么需要 XPU
AI 负载以矩阵乘加为主,计算规则、并行度高。CPU 通用性强但每瓦算力低,专用加速器可以在同功耗下提供数十倍以上的吞吐。
三、评估维度
1. 峰值算力:注明精度,如 FP16、BF16、INT8 TOPS;
2. 内存带宽与容量:HBM 带宽可达数 TB/s;
3. 互连:芯片间高速互连带宽决定集群扩展效率;
4. 软件栈:编译器、算子库、框架适配。
四、常见坑
1. 不同厂商对 XPU 的定义不同,有时特指某家公司的产品路线,交流时需说明是泛指还是特指;
2. 只比峰值算力,不比实际模型吞吐;
3. 忽略软件迁移成本,CUDA 代码迁移到其他平台工作量大。
讨论:
1. 你们在边缘侧部署模型,NPU 的算子支持度够用吗?
2. DPU 在你们的数据中心实际卸载了哪些工作?

