本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低1.4-1.95倍，能量消耗降低1.9倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

Nov, 2018

研究混合精度量化的方法，使用Hessian分析来解决由于过度量化而导致的模型泛化下降问题，并提出了HAWQV2来解决先前HAWQV1中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用Pareto前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测，并获得了最新的最优结果。

Nov, 2019

本文提出了HMQ，一个基于Gumbel-Softmax估计器的混合精度量化块，搜索有限的量化方案空间，以覆盖在边缘设备硬件实现中需要的均匀和具有2的幂级别阈值的量化器需求，并在CIFAR10和ImageNet训练的分类模型上应用HMQ，证明在一些情况下，虽然添加了限制，但也能够实现竞争性和最先进的结果。

Jul, 2020

通过使用通道数量更少的针对Hessian迹的量化方法，结合使用基于深度强化学习的代理寻找最佳量化位和通道分配的方法，可以获得更好的结果。

Aug, 2020

HAWQV3 提出了一种新型的混合精度整数量化框架，通过纯整数运算、硬件感知混合精度量化和直接硬件部署方法，实现了模型压缩和量化加速，其中 INT8 量化的准确率比之前的整数方法提高了2.68％，同时混合精度的 INT4/8 量化可以将 INT8 的延迟降低23％且仍能保持76.73％的准确率。

Nov, 2020

采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

Oct, 2021

提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。 该方法可以降低内存占用并提高延迟，同时保持模型准确性。

Jun, 2023

量化是一种用于创建高效深度神经网络的技术，可以通过以低于32位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而MixQuant则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

Sep, 2023

通过引入APTQ（关注感知的后训练混合精度量化），该研究提出了一种在大规模语言模型上进行混合精度量化的方法，利用Hessian迹作为灵敏度指标，以实现在模型性能保持的前提下进行精度降低，并取得了优于以往量化方法的效果。

Feb, 2024

本研究解决了深度神经网络（DNN）在资源有限的计算平台上执行时的量化鲁棒性不足的问题。提出的ARQ方法通过强化学习寻找到既准确又鲁棒的DNN量化方案，同时利用随机平滑技术指导搜索过程，保证了分类器的清洁准确性和认证鲁棒性。实验结果表明，ARQ在多个基准测试中优于传统量化技术，甚至在许多情况下与原始浮点权重的DNN性能相当，但仅需1.5%的指令集。

Oct, 2024