Feb, 2024
结构再参数化网络的低比特量化异常值感知训练
Outlier-Aware Training for Low-Bit Quantization of Structural Re-Parameterized Networks
Muqun Niu, Yuan Ren, Boyu Li, Chenchen Ding
TL;DR通过在模型架构和压缩技术上进行协同设计，卷积神经网络（CNN）的轻量化设计需要努力。作为一种新颖的设计范式，结构再参数化（SR）网络如代表性的 RepVGG 使简单的 VGG-like 网络以高度准确性得到重塑，与先进且通常更复杂的网络相当。然而，SR 网络中的合并过程会引入权重的异常值，使其分布与传统网络有所不同，从而加大了量化的难度。为了解决这个问题，我们提出了一种称为 Outlier Aware Batch Normalization（OABN）的操作级改进的训练方法。此外，为了满足有限的位宽要求并保持推断准确性，我们开发了一种基于聚类的非均匀量化框架 ClusterQAT 用于量化感知训练（QAT）。集成 OABN 和 ClusterQAT 后，RepVGG 的量化性能得到了大幅提升，尤其在位宽低于 8 时。