本研究提出了第一种实用的 4 位后训练量化方法，不涉及训练经过量化模型（微调），也不需要完整数据集的可用性。我们针对激活和权重的量化提出了三种互补方法，以在张量层面上最小化量化误差，并取得了几个百分点少于各种卷积模型现有技术水平基准值的准确性。
Oct, 2018
本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。
Dec, 2014
通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。
Oct, 2020
本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。
Jun, 2018
提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。
Apr, 2018
研究表明，使用 4 位和 8 位模型量化的 bfloat16 ResNet 模型计算成本和准确性的权衡曲线优于 bfloat16 模型，其中以 4 位模型量化为主的模型具有最佳 Pareto 曲线，并且基于量化感知训练的 4 位 ResNet-50 模型在 ImageNet 上取得了 77.09％的准确率。
May, 2021
本文提出了一种迭代的量化技术，将权重量化和完整精度权重的重新训练结合起来，以达到高压缩比和减少量化损失，同时证明该方法能够有效地利用剪枝等其他模型压缩技术，实现在 PTB 数据集上使用 1-bit 量化重量的 LSTM 模型，减少了硬件资源需求但不会降低准确性。
May, 2018
该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。
Nov, 2019
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。
该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。
Dec, 2015