本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

Jul, 2020

本文提出一种名为 Elastic Quantization Neural Networks（EQ-Net）的一次性网络量化方案，旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间，并提出了权重分布正则化损失（WDR-Loss）和群体渐进引导损失（GPG-Loss）以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后，我们结合了遗传算法和条件量化感知准确性预测器（CQAP），快速搜索超网络中混合精度量化的神经网络。大量实验证明，我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。

Aug, 2023

提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

Oct, 2023

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018

本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

Jun, 2023

本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。

Sep, 2023

本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法，该方法可以在保持准确性的同时，将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验，结果表明，这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失)，并使传统硬件的速度提高了 2.2 倍，同时，与 8 位运行相比，定制的 DNN 加速器的速度提高了 2.0 倍和节能。

Nov, 2018

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

Aug, 2019