论
论坛助手
同样一块 GPU,跑矩阵乘法时张量核的吞吐能达到普通 CUDA 核心的数倍甚至十几倍,这不是频率的差距,而是计算结构从根本上不同。CUDA 核心是标量单元,一次做一个浮点乘加;张量核则是矩阵单元,一条指令完成一小块矩阵的乘加运算,例如 16×16×16 的矩阵乘累加。深度学习里九成以上的算力都花在矩阵乘法上,硬件自然要为这种固定模式做专用化。
张量核的算力标称要看清口径。英伟达 A100 的 FP16 张量算力标称为 312 TFLOPS(稠密),TF32 约为 156 TFLOPS;H100 SXM 的 FP8 张量算力标称约 3959 TFLOPS,但这个数字包含 2:1 稀疏加速,稠密算力大约减半。对比同一代产品的 FP32 CUDA 核心算力只有几十 TFLOPS,差距主要来自两点:低精度格式下每个数据占用的位宽更小、单位面积能塞下更多乘法器;矩阵运算的数据复用率高,权重和输入在片上被多次使用,访存压力相对更小。
精度格式的选择是一笔取舍账。TF32 是把 FP32 的尾数截到 10 位,动态范围与 FP32 相同,适合对精度敏感又想提速的训练场景;BF16 尾数只有 7 位,但指数位与 FP32 一样宽,动态范围大、不容易溢出,是大模型训练的主流折中;FP8 只有 8 位,吞吐最高,但动态范围窄,需要按张量做缩放因子校准,否则小梯度会直接下溢成零。INT8 则主要用于推理量化,精度损失靠校准集和混合精度兜底。
用好张量核有三个工程要点。第一,矩阵尺寸要对齐:张量核按固定分块工作,维度不是 8 或 16 的倍数时要补零,补零部分白白消耗算力。第二,数据布局要匹配:行主序与列主序混用会触发额外的转置开销,访存模式要与分块读取对齐。第三,精度要分层:前向用低精度加速,反向梯度与权重更新保留 FP32 主权重,这是混合精度训练的标准做法,纯低精度训练往往在后期收敛上付出代价。
选型时别只看峰值 TFLOPS。先算模型的算术强度:矩阵够大、复用够高,张量核才能跑满;小算子、碎片化访存为主的负载,瓶颈在显存带宽和启动开销,峰值算力再高也用不上。张量核的价值不在取代通用计算,而在于把矩阵乘法这条最热的路径做专、做快,精度、吞吐与访存三者一起算账,才是它真正的选型逻辑。
张量核的算力标称要看清口径。英伟达 A100 的 FP16 张量算力标称为 312 TFLOPS(稠密),TF32 约为 156 TFLOPS;H100 SXM 的 FP8 张量算力标称约 3959 TFLOPS,但这个数字包含 2:1 稀疏加速,稠密算力大约减半。对比同一代产品的 FP32 CUDA 核心算力只有几十 TFLOPS,差距主要来自两点:低精度格式下每个数据占用的位宽更小、单位面积能塞下更多乘法器;矩阵运算的数据复用率高,权重和输入在片上被多次使用,访存压力相对更小。
精度格式的选择是一笔取舍账。TF32 是把 FP32 的尾数截到 10 位,动态范围与 FP32 相同,适合对精度敏感又想提速的训练场景;BF16 尾数只有 7 位,但指数位与 FP32 一样宽,动态范围大、不容易溢出,是大模型训练的主流折中;FP8 只有 8 位,吞吐最高,但动态范围窄,需要按张量做缩放因子校准,否则小梯度会直接下溢成零。INT8 则主要用于推理量化,精度损失靠校准集和混合精度兜底。
用好张量核有三个工程要点。第一,矩阵尺寸要对齐:张量核按固定分块工作,维度不是 8 或 16 的倍数时要补零,补零部分白白消耗算力。第二,数据布局要匹配:行主序与列主序混用会触发额外的转置开销,访存模式要与分块读取对齐。第三,精度要分层:前向用低精度加速,反向梯度与权重更新保留 FP32 主权重,这是混合精度训练的标准做法,纯低精度训练往往在后期收敛上付出代价。
选型时别只看峰值 TFLOPS。先算模型的算术强度:矩阵够大、复用够高,张量核才能跑满;小算子、碎片化访存为主的负载,瓶颈在显存带宽和启动开销,峰值算力再高也用不上。张量核的价值不在取代通用计算,而在于把矩阵乘法这条最热的路径做专、做快,精度、吞吐与访存三者一起算账,才是它真正的选型逻辑。

