一步前進與回退：克服損失感知量化訓練中的曲折問題

AAAIJan, 2024

一步前進與回退：克服損失感知量化訓練中的曲折問題

One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training

Lianbo Ma, Yuee Zhou, Jianlun Ma, Guo Yu, Qing Li

TL;DR本文提出了一种新的损失感知量化方法，通过一步前进和回溯的方式来获取更准确、更稳定的梯度方向，解决了梯度下降学习过程中梯度方向快速震荡的问题，实验证明该方法在收敛性能上具有竞争力且优于其他方法。

Abstract

weight quantization is an effective technique to compress deep neural networks for their deployment on edge devices with limited resources. Traditional loss-aware quantization methods commonly use the quantized g

weight quantization loss-aware quantization gradient descent learning model convergence deep models

发现论文，激发创造

基于重新训练的深度神经网络迭代权重量化

本文提出了一种迭代的量化技术，将权重量化和完整精度权重的重新训练结合起来，以达到高压缩比和减少量化损失，同时证明该方法能够有效地利用剪枝等其他模型压缩技术，实现在 PTB 数据集上使用 1-bit 量化重量的 LSTM 模型，减少了硬件资源需求但不会降低准确性。

May, 2018

学习步长量化

本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用 2、3 或 4 位字长量化权重和激活函数，并能够训练 3 位模型达到完全精度基线准确性，在 ImageNet 数据集上实现了迄今为止最高的准确性。

Feb, 2019

神经网络量化的高效训练方法

提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

Dec, 2019

通过临近算子进行量化神经网络的 ProxQuant

通过发现直通渐变法与 Nesterov 双平均算法相同，提出了一种更加合理的替代方法 ProxQuant，将基于量化网络的训练问题转化为规则化学习问题，并通过 Prox - 梯度方法进行优化。对于二元量化，ProxQuant 在稳定性上优于直通渐变法，并提供了一种强有力的替代方法。在将 ResNets 和 LSTMs 量化为二元和多位之后，ProxQuant 能在二元量化上实现优于现有水平的结果，并且在多位量化上与现有技术持平。

Oct, 2018

分步损失远走高飞：用多步量化进行对抗文本攻击

通过在 token 概率的连续空间中搜索对抗样本、在量化 - 补偿循环中进行多步量化，我们提出了一种新的基于梯度的攻击 transformer-based 语言模型的算法，实验表明该方法在各种 NLP 任务中明显优于其他方法。

Feb, 2023

Few-Bit Backward: 激活函数的量化梯度用于减少内存占用

本篇论文研究了神经网络训练中的内存占用问题，在点乘非线性函数导数的逼近上采用动态规划算法等方法进行量化，以显著减少内存占用和保证相同的收敛性能。

Feb, 2022

量化神经网络的训练：深入理解

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017

利用量化噪音进行极限模型压缩的训练

本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题，将讨论延伸量化感知训练的方法，实现了仅在每个前向传递过程中量化不同的一组随机权重，从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的，并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。

Apr, 2020

量化感知训练中克服振荡问题

本文研究神经网络的量化问题，发现在低比特率下，深度可分离网络（如 MobileNets,EfficientNets）量化训练中，量化权重可能出现意外震荡，导致在推断过程中统计错误、在训练过程中增加噪声，进而显著降低准确性。作者提出了两种新的 QAT 算法，分别是自适应调节震荡和迭代冻结权重，相较已有算法都表现出了更好的效果。

Mar, 2022

基于梯度的训练后量化：对现状的挑战

量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

Aug, 2023