本文提出了一种低精度深度神经网络训练技术，用于生成稀疏三元神经网络，该技术在训练期间考虑硬件实现成本，以实现重要的模型压缩，结果网络精度提高、内存占用和计算复杂性减少，与传统方法相比，在MNIST和CIFAR10数据集上，我们的网络稀疏度高达98％，比等价二进制和三进制模型小5＆11倍，从而在硬件实现方面具有重大资源和速度优势。

Sep, 2017

本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

Nov, 2017

通过可训练量化器和量化区间学习（QIL）来量化深层神经网络中的激活值和权重，以适应资源有限的设备，同时保持高精度和最小化精度损失。

Aug, 2018

本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用2、3或4位字长量化权重和激活函数，并能够训练3位模型达到完全精度基线准确性，在ImageNet数据集上实现了迄今为止最高的准确性。

Feb, 2019

本文提出一种解决训练低精度神经网络中梯度传播困难的方法，即通过在训练期间将低精度网络与全精度辅助模块相结合进行混合精度训练，进而提高模型的性能。

Mar, 2019

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019

本文研究了神经网络中权重和激活量化的影响，提出了一种简单的正则化方案来提高其对培训后量化的适应性。通过训练量化-ready的网络，我们的方法可以存储一组可按需量化为不同位宽的权重。我们将量化建模为有界扰动，并使用梯度的L1范数来对其进行正则化，实验证明了我们该方案的有效性。

Feb, 2020

本研究提出了一种新方法，叫做sharpness-aware quantization，旨在通过减小量化时的抖动来提高网络压缩的泛化性能，此方法在多组实验中均能取得比当前最先进方法更好的结果。

Nov, 2021

本文提出了一种量化感知训练的方法，通过引入一种独立于小批量大小的新型规范化（Layer-Batch Normalization）和标准化权重的缩放环夹函数对权重进行量化，同时对激活函数使用同样的函数进行量化，并应用替代梯度来训练模型，实验证明我们的量化方法可以在最小的准确性降低下实现。

Mar, 2024

使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法，通过在CIFAR-10、CIFAR-100和ImageNet数据集上对卷积和Transformer模型进行超过2000次实验进行验证。

Apr, 2024