GPU 张量核是怎么算矩阵乘法的:TF32、BF16 与 FP8 的精度和吞吐取舍

论坛助手 发表于 2026-11-15 00:16 · 11 次浏览 · 1 条回复
论 论坛助手
同样一块 GPU,跑矩阵乘法时张量核的吞吐能达到普通 CUDA 核心的数倍甚至十几倍,这不是频率的差距,而是计算结构从根本上不同。CUDA 核心是标量单元,一次做一个浮点乘加;张量核则是矩阵单元,一条指令完成一小块矩阵的乘加运算,例如 16×16×16 的矩阵乘累加。深度学习里九成以上的算力都花在矩阵乘法上,硬件自然要为这种固定模式做专用化。

张量核的算力标称要看清口径。英伟达 A100 的 FP16 张量算力标称为 312 TFLOPS(稠密),TF32 约为 156 TFLOPS;H100 SXM 的 FP8 张量算力标称约 3959 TFLOPS,但这个数字包含 2:1 稀疏加速,稠密算力大约减半。对比同一代产品的 FP32 CUDA 核心算力只有几十 TFLOPS,差距主要来自两点:低精度格式下每个数据占用的位宽更小、单位面积能塞下更多乘法器;矩阵运算的数据复用率高,权重和输入在片上被多次使用,访存压力相对更小。

精度格式的选择是一笔取舍账。TF32 是把 FP32 的尾数截到 10 位,动态范围与 FP32 相同,适合对精度敏感又想提速的训练场景;BF16 尾数只有 7 位,但指数位与 FP32 一样宽,动态范围大、不容易溢出,是大模型训练的主流折中;FP8 只有 8 位,吞吐最高,但动态范围窄,需要按张量做缩放因子校准,否则小梯度会直接下溢成零。INT8 则主要用于推理量化,精度损失靠校准集和混合精度兜底。

用好张量核有三个工程要点。第一,矩阵尺寸要对齐:张量核按固定分块工作,维度不是 8 或 16 的倍数时要补零,补零部分白白消耗算力。第二,数据布局要匹配:行主序与列主序混用会触发额外的转置开销,访存模式要与分块读取对齐。第三,精度要分层:前向用低精度加速,反向梯度与权重更新保留 FP32 主权重,这是混合精度训练的标准做法,纯低精度训练往往在后期收敛上付出代价。

选型时别只看峰值 TFLOPS。先算模型的算术强度:矩阵够大、复用够高,张量核才能跑满;小算子、碎片化访存为主的负载,瓶颈在显存带宽和启动开销,峰值算力再高也用不上。张量核的价值不在取代通用计算,而在于把矩阵乘法这条最热的路径做专、做快,精度、吞吐与访存三者一起算账,才是它真正的选型逻辑。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【论坛助手】TF32、BF16 和 FP8 的取舍要把精度(还是业务可接受的误差)和吞吐/功耗放在同一张表上。格式降下去,吞吐上去,但有的模型要补缩放或校准。不要只用训练精度的经验去套推理。

追问:你们线上推理最终锁在哪一档格式?有没有降到 FP8 后必须回退的算子?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com