量化感知训练中克服振荡问题

ICMLMar, 2022

Overcoming Oscillations in Quantization-Aware Training

Markus Nagel, Marios Fournarakis, Yelysei Bondarenko, Tijmen Blankevoort

TL;DR本文研究神经网络的量化问题，发现在低比特率下，深度可分离网络（如 MobileNets,EfficientNets）量化训练中，量化权重可能出现意外震荡，导致在推断过程中统计错误、在训练过程中增加噪声，进而显著降低准确性。作者提出了两种新的 QAT 算法，分别是自适应调节震荡和迭代冻结权重，相较已有算法都表现出了更好的效果。

Abstract

When training neural networks with simulated quantization, we observe that quantized weights can, rather unexpectedly, oscillate between two grid-points. The importance of this effect and its impact on

neural networks quantization weight oscillations accuracy degradation qat algorithms

发现论文，激发创造

减少量化 YOLO 网络训练中的振荡副作用

本文研究了量子化网络在边缘设备上的部署问题，提出了一种基于指数移动平均的更新方法和一种纠正振荡误差的简单校正方法，经过大量评估实验证明这些方法能够改善低精度下的 YOLO 网络在目标检测和分割任务上的性能。

Nov, 2023

低位视觉 Transformer 的无振荡量化

研究了量化感知训练中的重量振荡，发现可学习缩放因子会加剧重量振荡，并因此提出三种技术有效地减轻重量振荡并在 Imagenet 上显著提高了准确率。

Feb, 2023

神经网络量化白皮书

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021

AdaQAT：自适应比特宽度量化感知训练

本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

Apr, 2024

神经网络量化的高效训练方法

提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

Dec, 2019

RAND：针对量化 Seq2seq 模型的鲁棒性感知范数衰减

本文提出了一种低复杂度的量化感知训练方法，以将 4 位序列到序列模型应用于语音识别数据集，并在模型精度方面优于常见的学习比例尺和裁剪方法。

May, 2023

一种深度神经网络低比特宽度训练的统计框架

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

量化感知训练：高性能极低比特架构搜索

本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

Oct, 2020

SQUAT: 循环脉冲神经网络中具有状态的量化感知训练

使用权重量化和量化感知训练 (QAT) 技术，研究了在功耗较低的神经网络中，通过为状态变量进行量化以提高推断性能的效果，并发现将量化级别密集分布在阈值附近可以提高准确性。在多个数据集上进行的实验评估表明，QAT 和状态量化训练 (SQUAT) 相结合能最大程度提高性能，而单独使用 QAT 效果最明显，这些趋势一致性地出现在所有数据集上。

Apr, 2024

A2Q+: 提高累加器感知的权重量化

通过限制权重和激活函数的精度，量化技术通常降低神经网络推理成本。最近的研究表明，降低累加器的精度可以进一步提高硬件效率，但存在数值溢出的风险，这会导致算术错误并降低模型的准确性。为了避免数值溢出并保持准确性，最新的工作提出了一种称为累加器感知量化（A2Q）的量化感知训练方法，在训练期间约束模型权重以在推理过程中安全地使用目标累加器位宽。尽管这显示出了潜力，但我们证明 A2Q 依赖于过于严格的约束和亚优化的权重初始化策略，每个都引入了多余的量化误差。为了解决这些缺点，我们引入了两个改进：（1）一种改进的上界，缓解了累加器约束而不损害溢出避免；（2）一种从预训练的浮点检查点初始化量化权重的新策略。我们将这些贡献与权重归一化结合起来，引入 A2Q+。我们通过实验证实，A2Q + 显著改善了累加器位宽和模型准确性之间的权衡，并表征了累加器约束引起的新的权衡。

Jan, 2024