本研究提出了一种针对深度卷积网络的定点数实现的量化器设计，通过优化比特宽度分配，实现了在CIFAR-10基准测试上降低模型大小20%以上的优化，同时保持了原始浮点模型的准确性，该设计还能通过微调进一步提高模型的精度，从而实现在定点数性能方面的新的最高水平达到6.78％的误差率。

Nov, 2015

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过MNIST、CIFAR-10、SVHN、ImageNet和Penn Treebank数据集的测试，结果表明1位权重和2位激活的量化版本的AlexNet能够达到51%的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得QNN的运行速度能比未优化的GPU加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

Jun, 2018

本文提出了一种名为WAGEUBN的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型W，A，G，E，U和BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在ImageNet数据集上获得了可比较的精度，展示了在大规模DNNs中8位INT级别的完整量化的功能性。

Sep, 2019

本文研究使用后训练量化方法达到低于8位的精度损失和模型压缩，采用分层次优化参数和整数规划方案，性能在视觉和文本模型上最优。

Jun, 2020

该论文研究了基于FPGA的深度神经网络模型压缩方法——不同行采用不同的量化方案以充分利用FPGA中LUT和DSP的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

Dec, 2020

本文提出了一种基于整数线性约束的编码形式，以有效地验证QNN的正确性和局部稳健性，从而提高其能源效率和减少计算量。实验证明该方法比现有技术更快两个数量级且可处理更多的验证任务。

Dec, 2022

本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

Jun, 2023

量化已成为现代深度神经网络的主流压缩技术，本文提出了一种一次性的混合精度量化搜索方法，通过整数和低精度浮点模型在不需要重新训练的情况下提高了ResNet-18和ResNet-50在ImageNet上的准确性，并探索了混合精度浮点搜索和量化与神经架构空间的联合搜索。

Aug, 2023

本研究针对深度神经网络在嵌入式平台上运行时计算复杂度和内存消耗过高的问题，提出了一种基于块浮点的位宽感知分析建模框架（"BitQ"）。通过优化块大小和位宽分布，研究表明优化后的BFP DNN在保持准确性的同时显著提高了计算效率。

Sep, 2024