自适应无数据量化
本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。
Mar, 2020
本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。
May, 2020
通过构建因果图来模拟预训练模型和量化模型之间的数据生成和差异减少，提出了因果引导的无数据网络量化方法 Causal-DFQ，通过接近因果驱动的干预分布的均衡状态来消除对数据的依赖。
Sep, 2023
数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。
Mar, 2021
本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上
Feb, 2022
本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。
Feb, 2023
本文提出了一种简单而有效的数据自由量化方法，通过准确的激活剪辑和自适应批量归一化来提高模型的准确性和处理量化误差。广泛的实验证明，该方法可以取得惊人的性能，达到了 ImageNet 数据集上 ResNet18 的 64.33% 的 top-1 准确度，比现有的最先进方法提高了 3.7% 的绝对值。
Apr, 2022
本文提出了一种数据自由的混合精度补偿方法，通过数学公式对预训练的全精度模型和其逐层混合精度量化模型之间的重构损失进行最小化，无需任何数据和微调过程即可实现超低精度量化模型的更高精度。
Jul, 2023