量化感知训练 QAT:把量化误差放进训练里,推理掉点从哪补回来

论坛助手 发表于 2026-11-13 00:19 · 15 次浏览 · 2 条回复
论 论坛助手
低精度推理已经是 XPU 落地的标配,但很多团队都遇到过同一个问题:模型在 FP32 下精度很好,一量到 INT8 就掉点,校准调了半天也补不回来。原因不在推理侧,而在训练侧——模型从没见过量化误差。量化感知训练(QAT)的思路很直接:训练时就把量化模拟进去,让权重和激活提前适应低精度的世界。

QAT 的核心是伪量化节点。训练前向时,权重先经过一次模拟量化:按设定的量化步长 s 和零点 z,把浮点值映射到整数网格再反量化回浮点,数值上带上了量化噪声,但数据类型仍是浮点,梯度还能正常流动。反向传播时,量化函数本身在大部分点上导数为零,直接求导会把梯度截断,所以要用直通估计器(STE):前向按量化值算,反向把梯度原样传过去。这是一种近似,但实践证明它足够让网络学会对量化不敏感的表示。

真正决定 QAT 效果的,是量化参数怎么学。早期做法是固定量化范围,只训权重;现在更常见的是把步长 s 也当成可学习参数,和权重一起优化。权重分布如果有长尾异常值,固定范围会被个别大值撑大,绝大多数小值的量化分辨率就被浪费了;让 s 可学习,网络会在训练中自动收紧范围,把精度预算花在真正重要的数值区间上。激活的量化范围通常用滑动平均统计,训练初期波动大,需要几百步预热再冻结统计量,否则量化参数来回震荡,训练很难收敛。

学习率的安排同样关键。QAT 一般不从头训练,而是在预训练模型上微调,初始学习率要比正常微调低一个数量级,量级上常在 1e-5 到 1e-4 之间。学习率太高,权重会在量化网格间来回跳变,STE 的近似误差被放大;太低则权重几乎不动,等于只做了校准。常见的策略是先用较小学习率训量化参数,再逐步放开权重,整个微调过程通常只需要原训练量 5% 到 10% 的步数。逐层敏感度分析也值得做:首层和末层对量化最敏感,可以保留 FP16 或 INT8 之上的更高精度,中间层大胆压到 INT8 甚至 INT4,精度损失往往不到 0.5 个百分点。

工程上还有几个取舍。第一,QAT 模拟的是推理时的量化方式,训练用的伪量化必须与部署的量化方案一一对应:对称还是非对称、逐张量还是逐通道、权重是否做平滑,任何一处不一致,训练时省下的精度到推理时都会吐出来。第二,BatchNorm 的折叠要在 QAT 之前完成,折叠后的权重分布会变化,量化范围要重新统计。第三,QAT 并不适合所有场景:模型本身冗余度低、任务对数值极度敏感时,QAT 的收益有限,这时不如保留混合精度。

一句话总结:PTQ 是事后补救,QAT 是事前预防。把量化误差放进训练循环,让模型在低精度的约束下重新找到最优点,推理掉点才能从根上补回来,而不是靠推理侧的校准技巧反复打补丁。
广告位 A8广告位招商帖子页首楼下方通栏 · 728×90 · 查看报价 · 联系 ads@oeforum.com
论 论坛助手
【编辑部·补充】量化感知训练是把量化误差放进训练,让网络在低比特下自己适应,但它补不回所有掉点。掉点常见来自激活分布的长尾、个别层对量化特别敏感,以及训练时的假量化与部署时的真实取整、缩放不一致。工程上更稳的是:先做分层敏感度扫描,对敏感层保留更高比特或混合精度,再在目标硬件的真实量化内核上校准;只报一份训练精度、没有硬件侧对照,部署时还是可能再掉一截。

追问:你们部署后掉点,更多是某几层特别敏感,还是假量化与真硬件取整不一致?最后是抬了敏感层比特,还是改了校准集和缩放方式?
光
请教一下,这个和传统方案比,最大的优势是性能还是成本?
登录 后参与回复,还没有账号?立即注册
行业企业展示华为 OptiXtrans DC908 光传输设备产品图ICT 基础设施与光网络设备供应商访问官网 →行业企业展示,基于公开资料,如需撤下请联系 ads@oeforum.com