提出了一种新型的后训练量化框架 RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

Feb, 2024

提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

Apr, 2022

现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

Nov, 2023

本文提出了一种基于深度强化学习的硬件感知自动量化框架 (HAQ)，旨在为不同的神经网络体系结构和硬件体系结构确定最佳的量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。 在硬件仿真器的帮助下，该框架的有效性已得到证明。

Aug, 2020

本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

Jul, 2020

本文提出了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建在芯片上的量化感知管道（OQA）和基于掩码的量化估计（MQE）技术，实现了从硬件感知的混合精度量化。通过合成网络和硬件的见解，通过线性规划获得了优化的位宽配置。OHQ 在完全无需额外的计算设备和数据访问的情况下，对各种体系结构和压缩比率进行了量化推理，为 ResNet-18 和 MobileNetV3 分别实现了 70％和 73％的准确率，并且相较于部署中的 INT8，减少了 15～30％的延迟。

Sep, 2023

通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

Jan, 2024

本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

Feb, 2023

最近的自动语音识别（ASR）中取得的进展产生了大型 AI 模型，这些模型在移动设备上部署变得不切实际。模型量化可以产生压缩的通用模型，但这些模型可能只能在特定领域中部署。我们表明在量化过程中可以个性化地对 ASR 模型进行个性化调整，仅依赖于目标领域的少量未标记样本。为此，我们提出了 myQASR，一种混合精度量化方法，它可以在不需要微调的情况下为不同用户生成量化方案，以适应任何内存需求。myQASR 通过分析全精度激活值来自动评估网络层的量化灵敏度，我们能够为任何预定的内存预算生成个性化的混合精度量化方案。大规模 ASR 模型的结果表明 myQASR 如何提高特定性别、语言和说话者的性能。

Jul, 2023

本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

Nov, 2018