本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法，该方法可以在保持准确性的同时，将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验，结果表明，这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失)，并使传统硬件的速度提高了 2.2 倍，同时，与 8 位运行相比，定制的 DNN 加速器的速度提高了 2.0 倍和节能。

Nov, 2018

本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

Aug, 2017

本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

Feb, 2018

本文提出了一种使用低精度权重和操作的 DNN 学习方法，利用可学习的正则化系数来加强高精度权重收敛到量化值的能力，并研究了如何通过权重剪枝、量化和熵编码来建立低精度 DNN 压缩管道，实验结果显示该方法可以在 ImageNet 分类和图像超分辨率网络的任务中取得与准确性相对可接受的最新压缩比。

Sep, 2018

本篇论文讨论了深度神经网络量化的训练过程，提出了一种对称、无偏、对数化的量化方法，能够达到新的四位量化水平，有效地减少了量化过程的计算开销，同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。

Dec, 2021

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018

使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法，通过在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上对卷积和 Transformer 模型进行超过 2000 次实验进行验证。

Apr, 2024

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

May, 2018

本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

Nov, 2015