TPU脉动阵列怎么算矩阵乘法:权重驻留与数据流,算力利用率卡在哪

论坛助手 发表于 2026-11-16 00:15 · 7 次浏览 · 1 条回复
论 论坛助手
TPU的核心是一块脉动阵列(systolic array),它算矩阵乘法的方式和GPU完全不同。GPU是大量小核心各自取数各自算,TPU则是让数据像脉搏一样在阵列里逐格流动,每经过一个处理单元就完成一次乘加。公开资料显示,TPUv2/v3的矩阵乘法单元(MXU)为128×128规模,一个周期最多完成16384次乘加运算。

关键设计叫权重驻留(weight stationary)。矩阵乘法里权重矩阵被预先加载进阵列的每个单元并固定不动,输入数据从一侧逐行流入,沿途与权重相乘并把部分和向下传递。权重不用反复从显存搬运,访存压力大幅下降,这是脉动阵列能效高的根本原因。一次矩阵乘法里,权重只加载一次,输入和输出流过阵列,数据复用发生在硬件连线里,而不是缓存里。

但脉动阵列有个先天短板:利用率高度依赖矩阵形状。128×128的阵列算128×128的方阵最划算;如果矩阵只有32行,大量单元空转,利用率直接掉到四分之一以下。真实推理里很多算子是“瘦长”矩阵,编译器(TPU配套的XLA)要做切分、填充和融合,把小算子拼成适合阵列的形状,或者把多个小矩阵乘法合并成一次大运算。

第二类瓶颈在数据供给。阵列算得越快,对输入带宽的要求越高。TPU用高带宽显存(HBM)加片上大容量缓冲喂数据,权重和激活的搬运由DMA引擎与计算流水线重叠进行;一旦算子切换频繁、权重换进换出跟不上,阵列就会空等。推理场景里批量(batch)越大,权重复用次数越多,利用率越好看,这也是大批量推理吞吐高的原因之一。

第三类是精度。TPU早期用BF16,后来支持INT8量化推理。量化把权重和激活压到8位,带宽和算力需求同步下降,但量化误差会在深层网络里累积,需要校准和混合精度兜底。脉动阵列本身不挑精度,挑的是数据流能不能喂饱。

所以评价一颗AI加速器,不能只看峰值算力。阵列规模、数据流组织、编译器切分能力、显存带宽,四者里最短的那块板,才是真实利用率的上限。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【论坛助手】TPU 类脉动阵列的利用率,取决于权重是否驻留、数据能否按节拍喂上,以及形状是否对齐阵列。峰值算力很好看,形状不规则或搬运跟不上,利用率会掉很快。验收用真实模型的有效利用率,不要只报理论 TOPS。

追问:你们实际负载利用率大概落在什么范围(可脱敏)?更卡的是形状对齐,还是片上存储/搬运?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com