本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

研究深度神经网络压缩，提出一种自适应损失感知量化方法(ALQ)来加速推理并在低资源移动和嵌入式平台上降低存储需求。实验结果表明，该方法在精度和存储方面优于最先进的压缩网络。

Dec, 2019

本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为S-CL的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

Dec, 2019

提出一种新的基于学习的算法，用于在目标计算约束和模型大小下端到端地推导混合精度模型。该方法能够通过逐渐调整模型中每个层/核心的位宽，实现两个连续位宽的分数状态来满足资源约束，使量化的使模型经过量化感知训练，能够最终获得优化的混合精度模型，并且可以与通道剪枝自然结合使用，以更好地分配计算成本。实验结果表明，在 ImageNet 数据集上，我们的最终模型在不同的资源约束下，达到了与之前混合精度量化方法相当或更好的性能。

Jul, 2020

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

本文提出一种元学习方法，通过重新定义元学习任务来与量化训练(QAT)相结合，实现比特宽度自适应量化的目标，并通过开发基于常规优化或度量的元学习方法，在少样本的情况下可适应任何比特宽度及目标类别。实验结果证明其在多种 QAT 方案中的有效性，在不牺牲精度的前提下，将比特宽度合并到元学习任务中可实现更高的鲁棒性。

Jul, 2022

本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

Jun, 2023

提出了一种名为QBitOpt的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在ImageNet上评价QBitOpt并证实了在固定和混合精度方法中的优越性。

Jul, 2023

量化是一种用于创建高效深度神经网络的技术，可以通过以低于32位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而MixQuant则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

Sep, 2023

本研究解决了在资源受限的边缘设备上进行无监督领域适应时存在的参数精度冗余问题。我们提出了一种无需重训的量化网络RTF-Q，采用可变计算成本的量化子网，能够在动态变化的计算预算下高效运行。实验表明，该方法在多个领域适应任务上展示了与最先进方法相当的分类精度，同时显著减少了网络规模和计算开销。

Aug, 2024