本次研究对于深度神经网络的量化方法进行综述，重点探讨了量化对于模型大小、能量消耗以及在移动设备上的实际应用等方面的影响。

Aug, 2018

本文旨在综述深度神经网络计算中数值量化的方法和优缺点，囊括了使用固定整数值的优点、及降低 4x 到 8x 等现实应用中的实际结果，以及占用更少的内存和降低延迟的潜力。

Mar, 2021

通过对 ImageNet 上的广泛实验，我们发现量化技术在部署深度神经网络时，虽然对于对抗性攻击具有更高的稳健性，但更容易受到自然噪声和系统噪声等噪声的影响。特别的，脉冲噪声和最邻近插值对量化模型影响最大，我们的研究有助于进一步提升模型的稳健性，使其能够在真实场景中部署应用。

Apr, 2023

本文介绍了一种有效的后训练量化算法，以降低视觉变换器的内存存储和计算成本，并在多个基准模型和数据集上证明了所提出的方法的有效性，在 ImageNet 数据集上使用 DeiT-B 模型可获得约 8 位量化的 81.29％ top-1 精度。

Jun, 2021

本文采用经典监督图像分类任务，研究了在不同威胁模型下量化神经网络的对抗鲁棒性，结果表明，量化不能提供任何强大的保护性，并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。

Sep, 2019

通过对 ImageNet 上的各种噪声（对抗性攻击、自然扰动和系统噪声）进行了全面评估，我们得出了关于量化模型在各种场景下的鲁棒性的宝贵见解：（1）量化模型在对抗性鲁棒性方面表现更好，但对自然扰动和系统噪声更加脆弱；（2）一般来说，增加量化位宽会导致对抗性鲁棒性降低，自然鲁棒性增强，系统鲁棒性增加；（3）在扰动方法中，由 extit {脉冲噪声} 和 extit {玻璃模糊} 对量化模型的影响最大，而 extit {亮度} 的影响最小；（4）在系统噪声中， extit {最近邻插值} 的影响最大，而双线性插值、立方插值和区域插值的影响最小。我们的研究推动了模型的鲁棒量化及其在实际场景中的部署。

Aug, 2023

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015

本文详细研究量化模型的行为特征，通过考虑 4 个跨越图像到文本的数据集，8 种深度学习网络架构，以及包含合成和自然分布转移的 42 个转移集，揭示出在看不见的数据上的行为特征，同时指出量化训练可以产生更稳定的模型，$Margin$ 是 quantized 模型中不确定性度量的更好指标.

Apr, 2022

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

Jun, 2018

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018