本文提出了一种名为ZeroQ的新型零-shot量化框架，用于量化神经网络而无需访问原始数据，ZeroQ通过优化一个与网络不同层的批量归一化统计数据相匹配的Distilled Dataset来实现。我们在不同的模型上进行了广泛测试，证明ZeroQ可以实现比DFQ方法更高的精度，具有极低的计算开销。

Jan, 2020

本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了(wide) residual networks和MobileNet在SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上最先进的数据自由模型压缩和量化效果。

May, 2020

本研究提出了一种基于Batch Normalization统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在benchmark数据集上有很好的性能表现。

Jan, 2021

本研究提出IntraQ方法来解决现有方法在合成图像中无法保留真实数据类内异质性的问题，通过本方法在使用4位量化的MobileNetV1上，可在ImageNet数据集上实现比已有先进方法更高的准确性。

Nov, 2021

本文通过分析零样本量化技术的损失面结构和性能下降数据处理方法研究，提出一种简单，有效的零样本量化技术AIT，通过KL距离损失和梯度操纵来提高模型性能。

Mar, 2022

该研究介绍了一种基于后训练的、使用合成数据进行零样本量化的方法，并提出了一种名为“Genie”的框架，用于生成适用于量化的数据，通过将它们组合，可以在不使用实际数据集的情况下获取独特的最先进的零样本量化方法。

Dec, 2022

本文提出了一种HArd样本合成和训练（HAST）方法来解决现有零样本量化方法中合成样本容易过度拟合从而导致性能降低的问题。该方法通过对难合成样本的特殊合成和特征对齐来保证合成样本的质量，最终实验结果表明HAST方法比现有零样本量化方法表现更好，接近于使用实际数据量化得到的模型性能。

Mar, 2023

我们提出了一种新颖的零射频锐化感知量化（ZSAQ）框架，用于各种预训练语言模型的零射频量化，并理论证明了SAM-SGA优化算法的收敛速度以及该结果适用于其他非凸型极小-极大优化框架。通过在11个任务上进行大量实验证明，我们的方法在鉴别性和生成性预训练语言模型上都带来了一致且显著的性能提升，即最高可达+6.98的平均得分，并且在实践中验证了我们的方法能够有效改善模型的泛化能力。

Oct, 2023

通过使用高级的文本到图像扩散模型生成高分辨率、逼真的合成数据，StableQ 方法在零样本和少样本量化方面取得了准确性和效率上的显著改进，通过逆向可学习的令牌嵌入来引导合成数据生成过程，解决了数据稀缺量化的挑战。

Dec, 2023

本研究解决了在隐私问题下无法使用训练数据进行量化模型校准的问题，提出了一种依赖预训练模型和统计信息的零-shot量化方法。通过对热成像对象检测模型的应用，我们发现在缺少训练数据的情况下，零-shot量化能够有效生成代表训练数据集的数据，从而提升量化性能，特别适用于红外成像领域。

Aug, 2024