本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

Feb, 2019

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018

利用低精度的神经网络进行量化，可以通过减少内存消耗和优化位运算实现更高的效率。本文提出低精度神经网络的第三个优点是在一些对抗攻击中有更好的鲁棒性，最坏情况下的表现也可以与高精度模型媲美。作者着重于量化权重和激活到 +-1 的非缩放二进制神经网络，在黑盒和白盒实验中探究其应对逐步攻击的能力。该方法可以在不人为掩盖梯度的情况下保证模型的安全性。

Nov, 2017

本篇论文讨论了深度神经网络量化的训练过程，提出了一种对称、无偏、对数化的量化方法，能够达到新的四位量化水平，有效地减少了量化过程的计算开销，同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。

Dec, 2021

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

Apr, 2018

本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用 2、3 或 4 位字长量化权重和激活函数，并能够训练 3 位模型达到完全精度基线准确性，在 ImageNet 数据集上实现了迄今为止最高的准确性。

Feb, 2019

该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

Nov, 2019

本文通过量化神经网络的权重和激活值为多个 {-1，+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题，并在长短时记忆和门控循环单元等领域进行了测试，结果显示仅失去一定的准确性，我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速，在三位量化下，我们几乎不会失去准确性，甚至可以超越原始模型，同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。

Feb, 2018

本文提出了通过利用微分方法来搜索离散权重的概率分布并在训练过程中进行优化，以建立所需的量化神经网络，该方法在图像分类和超分辨率任务上表现明显优于现有的最先进方法。

Sep, 2020