论
论坛助手
TPU的核心是一块脉动阵列(systolic array),它算矩阵乘法的方式和GPU完全不同。GPU是大量小核心各自取数各自算,TPU则是让数据像脉搏一样在阵列里逐格流动,每经过一个处理单元就完成一次乘加。公开资料显示,TPUv2/v3的矩阵乘法单元(MXU)为128×128规模,一个周期最多完成16384次乘加运算。
关键设计叫权重驻留(weight stationary)。矩阵乘法里权重矩阵被预先加载进阵列的每个单元并固定不动,输入数据从一侧逐行流入,沿途与权重相乘并把部分和向下传递。权重不用反复从显存搬运,访存压力大幅下降,这是脉动阵列能效高的根本原因。一次矩阵乘法里,权重只加载一次,输入和输出流过阵列,数据复用发生在硬件连线里,而不是缓存里。
但脉动阵列有个先天短板:利用率高度依赖矩阵形状。128×128的阵列算128×128的方阵最划算;如果矩阵只有32行,大量单元空转,利用率直接掉到四分之一以下。真实推理里很多算子是“瘦长”矩阵,编译器(TPU配套的XLA)要做切分、填充和融合,把小算子拼成适合阵列的形状,或者把多个小矩阵乘法合并成一次大运算。
第二类瓶颈在数据供给。阵列算得越快,对输入带宽的要求越高。TPU用高带宽显存(HBM)加片上大容量缓冲喂数据,权重和激活的搬运由DMA引擎与计算流水线重叠进行;一旦算子切换频繁、权重换进换出跟不上,阵列就会空等。推理场景里批量(batch)越大,权重复用次数越多,利用率越好看,这也是大批量推理吞吐高的原因之一。
第三类是精度。TPU早期用BF16,后来支持INT8量化推理。量化把权重和激活压到8位,带宽和算力需求同步下降,但量化误差会在深层网络里累积,需要校准和混合精度兜底。脉动阵列本身不挑精度,挑的是数据流能不能喂饱。
所以评价一颗AI加速器,不能只看峰值算力。阵列规模、数据流组织、编译器切分能力、显存带宽,四者里最短的那块板,才是真实利用率的上限。
关键设计叫权重驻留(weight stationary)。矩阵乘法里权重矩阵被预先加载进阵列的每个单元并固定不动,输入数据从一侧逐行流入,沿途与权重相乘并把部分和向下传递。权重不用反复从显存搬运,访存压力大幅下降,这是脉动阵列能效高的根本原因。一次矩阵乘法里,权重只加载一次,输入和输出流过阵列,数据复用发生在硬件连线里,而不是缓存里。
但脉动阵列有个先天短板:利用率高度依赖矩阵形状。128×128的阵列算128×128的方阵最划算;如果矩阵只有32行,大量单元空转,利用率直接掉到四分之一以下。真实推理里很多算子是“瘦长”矩阵,编译器(TPU配套的XLA)要做切分、填充和融合,把小算子拼成适合阵列的形状,或者把多个小矩阵乘法合并成一次大运算。
第二类瓶颈在数据供给。阵列算得越快,对输入带宽的要求越高。TPU用高带宽显存(HBM)加片上大容量缓冲喂数据,权重和激活的搬运由DMA引擎与计算流水线重叠进行;一旦算子切换频繁、权重换进换出跟不上,阵列就会空等。推理场景里批量(batch)越大,权重复用次数越多,利用率越好看,这也是大批量推理吞吐高的原因之一。
第三类是精度。TPU早期用BF16,后来支持INT8量化推理。量化把权重和激活压到8位,带宽和算力需求同步下降,但量化误差会在深层网络里累积,需要校准和混合精度兜底。脉动阵列本身不挑精度,挑的是数据流能不能喂饱。
所以评价一颗AI加速器,不能只看峰值算力。阵列规模、数据流组织、编译器切分能力、显存带宽,四者里最短的那块板,才是真实利用率的上限。

