本文提出了一种精细的量化方法(Fine-grained Quantization, FGQ)，该方法可对预训练的全精度模型进行三值化，同时将激活限制为8位和4位。通过该方法，我们证明了无需额外训练，就可以在最先进的拓扑结构上实现最小分类精度损失。该方法可用于Resnet-101和Resnet-50等模型，可以消除75%的乘法运算，从而实现完整的8/4位推理管道，并在ImageNet数据集上实现最佳报告精度，性能提升潜力高达9倍。最终的量化模型可以在全精度模型的基础上提高15倍的性能。

May, 2017

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

Jun, 2018

本文提出了一种在有限硬件资源上实现预训练模型的4位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制MSE问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

Feb, 2019

本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用2、3或4位字长量化权重和激活函数，并能够训练3位模型达到完全精度基线准确性，在ImageNet数据集上实现了迄今为止最高的准确性。

Feb, 2019

本文提出了一种新颖的端到端方法，用于在微控制器上部署低误差的深度神经网络，通过混合低位宽压缩，结合8、4或2位均匀量化，以整数运算来建模推理图，旨在确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制，通过一个基于规则的迭代过程，运用量化感知的重训练，将虚假量化图转换为整数推理模型，使用整数通道归一化(ICN)图层将该模型部署到只有2MB的FLASH存储器和512kB的RAM设备上，并报告了基于 STM32H7 微控制器的混合精度 MobilenetV1 家族网络的延迟-精度评估结果，实验结果表明，相比于之前发表的微控制器8位实现，Top1 精度提高了8％，达到了68％。

May, 2019

介绍了一种数据自由的量化深度神经网络方法，采用固定 8 位定点量化的方式来提高计算效率，并且通过处理激活函数中的比例等变性和纠正误差偏差来提高性能和准确度，可应用于常见的计算机视觉架构和任务中，以 API 调用的形式提高量化模型的性能和表现。

Jun, 2019

本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种8位量化工作流，能够在所有研究的网络上保持1%的浮点基线精度，包括更难量化的模型，如MobileNets和BERT-large。

Apr, 2020

本研究提出每个张量维度内小向量的单独比例因子缩放技术以降低量化相关的精度损失，有效提高了卷积神经网络的推理准确性并在深度学习加速器硬件设计上实现了硬件效率的提高和能源消耗的降低。

Feb, 2021

本文提出了 Bit-Mixer 方法，为高度精准预测训练多量化层的混合精度网络，在测试期间任何层都可以改变自己的比特宽度，并通过“转换批量归一化”和3阶段优化，展示了网络的训练过程以及具有理想的灵活性属性的混合精度网络可供设备部署，不会影响推断准确度。

Mar, 2021

F8Net是一种完全由固定点8位乘法构成的量化框架，可以降低神经网络量化模型与完全精度模型之间的性能差距，并显著降低内存占用和能源消耗。

Feb, 2022