针对模型量化与 SR 网络训练中的两个困难，本文提出了一种全量化图像超分辨率框架（FQSR）来同时优化效率和精度，并在多个主流 SR 构架上应用，实验表明与全精度 SR 方法相比，FQSR 具有相同的性能和较低的计算成本。

Nov, 2020

本文提出一种新型动态压缩方法 (CADyQ) 来优化图像超分辨率神经网络中由于量化引起的计算过于复杂的问题，通过在根据输入图像局部区域和图层进行自适应位宽和量化级别分配的可训练比特选择器模块中引入量化敏感性评估，以实现高平均位减少和更小的精度损失。

Jul, 2022

提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

Apr, 2022

提出了一种新型的后训练量化框架 RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

Feb, 2024

2DQuant 是一种双阶段低比特后训练量化（PTQ）方法，通过研究权重和激活分布，使用分布导向边界初始化和蒸馏量化校准的方法，实现了在低比特量化下高效准确的图像超分辨率。

Jun, 2024

本文研究高效图像超分辨率算法的 8 位量化，提出了一种适用于移动设备的基于锚点神经网络的算法，并采用定量化训练策略，使该模型在保证性能的情况下可以胜过当前同类算法。

May, 2021

本文介绍了一种名为 BRECQ 的新型 PTQ 框架，通过重构神经网络的组件来将 PTQ 的位宽降至 INT2，并将混合精度技术结合到框架中。对多种手工制作和搜索的神经体系结构进行了广泛的实验，证明了 PTQ 可以实现比使用 QAT 的 4 位 ResNet 和 MobileNetV2 更快的速度制作量化模型。

Feb, 2021

现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

Nov, 2023

量化是减少图像超分辨率（SR）网络高计算复杂度的一种有前途的方法，然而，与图像分类等高级任务相比，低位量化会导致 SR 网络的严重准确性损失。本文提出了一种新的量化感知训练框架 ODM，该框架有效地解决了 SR 网络中的分布不匹配问题，并且不需要动态自适应。该算法通过直接在训练过程中正则化特征的方差来减少不匹配，同时还引入了分布偏移以进一步减小分布不匹配问题。实验结果表明，ODM 在减少分布不匹配问题方面比现有的 SR 量化方法表现更好，计算开销也更少，这表明减小分布不匹配问题的重要性。

Jul, 2023

通过在模型架构和压缩技术上进行协同设计，卷积神经网络（CNN）的轻量化设计需要努力。作为一种新颖的设计范式，结构再参数化（SR）网络如代表性的 RepVGG 使简单的 VGG-like 网络以高度准确性得到重塑，与先进且通常更复杂的网络相当。然而，SR 网络中的合并过程会引入权重的异常值，使其分布与传统网络有所不同，从而加大了量化的难度。为了解决这个问题，我们提出了一种称为 Outlier Aware Batch Normalization（OABN）的操作级改进的训练方法。此外，为了满足有限的位宽要求并保持推断准确性，我们开发了一种基于聚类的非均匀量化框架 ClusterQAT 用于量化感知训练（QAT）。集成 OABN 和 ClusterQAT 后，RepVGG 的量化性能得到了大幅提升，尤其在位宽低于 8 时。

Feb, 2024