ICMLJun, 2022

优化剪裁和幅值感知求导以提高量化感知训练

PDF
TL;DR本文提出了一种名为 OCTAV 的递归算法来确定 MSE 最优裁剪标量，基于这个算法，我们在每一步都能得到具有最小量化噪声的 QAT 算法。同时，我们提出了一种新的技术，即大小感知差分，以进一步提高精度，在多项任务中取得了最先进的精度。
data clippingquantization-aware trainingoptimally clipped tensors and vectorsgradient estimation techniqueslow precision
发现论文，激发创造
  • RAND：针对量化 Seq2seq 模型的鲁棒性感知范数衰减

    本文提出了一种低复杂度的量化感知训练方法，以将 4 位序列到序列模型应用于语音识别数据集，并在模型精度方面优于常见的学习比例尺和裁剪方法。

    May, 2023

  • 自适应核心集选择的高效量化感知训练

    本文提出一种基于 coreset selection 的 quantization-aware adaptive coreset selection (ACS) 方法，以提高 quantization-aware training 的训练效率。该方法通过 error vector score 和 disagreement score 量化每个样本的重要性，并根据这些指标选择数据进行训练，在多个网络和数据集上获得了显著的提高。

    Jun, 2023

  • 量化感知训练中克服振荡问题

    本文研究神经网络的量化问题，发现在低比特率下，深度可分离网络（如 MobileNets,EfficientNets）量化训练中，量化权重可能出现意外震荡，导致在推断过程中统计错误、在训练过程中增加噪声，进而显著降低准确性。作者提出了两种新的 QAT 算法，分别是自适应调节震荡和迭代冻结权重，相较已有算法都表现出了更好的效果。

    Mar, 2022

  • 最佳和近似最佳的自适应矢量量化

    量化是许多机器学习应用中的基础优化之一，该研究论文重新审视自适应矢量量化问题，并提出了改进的时间和空间复杂度的最优解算法，以及适用于大型输入的更快的近似最优算法。实验结果表明这些算法可能在各种机器学习应用中更广泛地应用于自适应矢量量化。

    Feb, 2024

  • 减少量化 YOLO 网络训练中的振荡副作用

    本文研究了量子化网络在边缘设备上的部署问题，提出了一种基于指数移动平均的更新方法和一种纠正振荡误差的简单校正方法，经过大量评估实验证明这些方法能够改善低精度下的 YOLO 网络在目标检测和分割任务上的性能。

    Nov, 2023

  • AdaQAT：自适应比特宽度量化感知训练

    本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

    Apr, 2024

  • 神经网络量化的高效训练方法

    提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

    Dec, 2019

  • Additive Powers-of-Two Quantization: 一种高效的非均匀化离散化神经网络方法

    本研究提出一种高效的非均匀量化方案，称为 APoT quantization，该方案能够更好地匹配神经网络中权重和激活的分布，通过重新参数化剪裁函数来生成更好定义的梯度，并提供了一种细化权重分布的权重归一化方法，以使训练更加稳定和一致。实验结果表明，该方法胜过现有最先进方法，并且在 ImageNet 数据集上，经过 4 位量化的 ResNet-50 模型，准确率达到 76.6％，同时与均匀量化模型相比，模型计算成本降低了 22％。

    Sep, 2019

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 教师干预：提高超低精度 Transformer 量化感知训练的收敛性

    本论文提出了一种名为 Teacher Intervention（TI）的主动知识蒸馏方法，用于快速收敛超低精度预训练 Transformer 的 QAT，并采用逐步干预机制来稳定恢复 Transformer 层的子节，提高模型准确性。

    Feb, 2023