本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在MobileNets模型中展现了显著的改进，在ImageNet分类和COCO检测等任务上获得了良好的结果。

Dec, 2017

本文使用整数计算方法，利用动态定点方案为常规神经网络操作提供合适的实现，研究在常规通用硬件上进行 ImageNet-1K 数据集上的视觉理解神经网络训练，并且实现的神经网络在相同迭代次数下，不增加超参数的情况下超过了SOTA的精度，并提高了1.8倍的训练吞吐量，这是使用SOTA CNN对ImageNet-1K数据集进行INT16训练的首次最高准确性结果。

Feb, 2018

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

Jun, 2018

本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

Aug, 2019

本文提出了一种名为WAGEUBN的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型W，A，G，E，U和BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在ImageNet数据集上获得了可比较的精度，展示了在大规模DNNs中8位INT级别的完整量化的功能性。

Sep, 2019

本文提出了一个统一的 INT8 训练框架，基于四个梯度特征和两个稳定性原则，以及两种普适性技术，包括方向敏感梯度裁剪和偏移抵消学习率缩放，可以支持各种网络和任务，并在不使用太多优化方法的情况下将训练时间降低了22％。

Dec, 2019

本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种8位量化工作流，能够在所有研究的网络上保持1%的浮点基线精度，包括更难量化的模型，如MobileNets和BERT-large。

Apr, 2020

本文旨在综述深度神经网络计算中数值量化的方法和优缺点，囊括了使用固定整数值的优点、及降低4x到8x等现实应用中的实际结果，以及占用更少的内存和降低延迟的潜力。

Mar, 2021

该研究论文提出了一种使用整数操作进行DNN训练和推理的框架“PocketNN”，并使用“直接反馈对齐(DFA)”算法训练每一层，避免了整数溢出的问题，实验结果表明它在MNIST和Fashion-MNIST数据集上的准确性与使用BP算法相当接近，同时具有高度的兼容性和可移植性。

Jan, 2022

本文提出一种新的深度神经网络固定点量化框架(FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试(ImageNet)中，模型的内存需求得到了7.16倍-10.36倍的压缩，同时准确率只有不到2%的损失。

Mar, 2022