IntraQ: 学习带有类内异质性的合成图像，用于零样本网络量化

CVPRNov, 2021

IntraQ: 学习带有类内异质性的合成图像，用于零样本网络量化

IntraQ: Learning Synthetic Images with Intra-Class Heterogeneity for Zero-Shot Network Quantization

Yunshan Zhong, Mingbao Lin, Gongrui Nan, Jianzhuang Liu, Baochang Zhang...

TL;DR本研究提出 IntraQ 方法来解决现有方法在合成图像中无法保留真实数据类内异质性的问题，通过本方法在使用 4 位量化的 MobileNetV1 上，可在 ImageNet 数据集上实现比已有先进方法更高的准确性。

Abstract

Learning to synthesize data has emerged as a promising direction in zero-shot quantization (ZSQ), which represents neural networks by low-bit integer without accessing any of the real data. In this paper, we observe an interesting phenomenon of intra-class heterogeneity in real data an

zero-shot quantization intraq neural networks synthetic images imagenet

发现论文，激发创造

ZeroQ：一种新颖的零样本量化框架

本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

Jan, 2020

生成式零样本网络量化

本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

Jan, 2021

StableQ：利用文本到图像数据增强数据稀缺量化

通过使用高级的文本到图像扩散模型生成高分辨率、逼真的合成数据，StableQ 方法在零样本和少样本量化方面取得了准确性和效率上的显著改进，通过逆向可学习的令牌嵌入来引导合成数据生成过程，解决了数据稀缺量化的挑战。

Dec, 2023

零样本对抗量化

本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

Mar, 2021

Genie：量化数据展示

该研究介绍了一种基于后训练的、使用合成数据进行零样本量化的方法，并提出了一种名为 “Genie” 的框架，用于生成适用于量化的数据，通过将它们组合，可以在不使用实际数据集的情况下获取独特的最先进的零样本量化方法。

Dec, 2022

零炮灰锐度感知量化预训练语言模型

我们提出了一种新颖的零射频锐化感知量化（ZSAQ）框架，用于各种预训练语言模型的零射频量化，并理论证明了 SAM-SGA 优化算法的收敛速度以及该结果适用于其他非凸型极小 - 极大优化框架。通过在 11 个任务上进行大量实验证明，我们的方法在鉴别性和生成性预训练语言模型上都带来了一致且显著的性能提升，即最高可达 + 6.98 的平均得分，并且在实践中验证了我们的方法能够有效改善模型的泛化能力。

Oct, 2023

零样本量化中的难样本问题

本文提出了一种 HArd 样本合成和训练（HAST）方法来解决现有零样本量化方法中合成样本容易过度拟合从而导致性能降低的问题。该方法通过对难合成样本的特殊合成和特征对齐来保证合成样本的质量，最终实验结果表明 HAST 方法比现有零样本量化方法表现更好，接近于使用实际数据量化得到的模型性能。

Mar, 2023

注重教师：带老师更接近零 - shot 量化

本文通过分析零样本量化技术的损失面结构和性能下降数据处理方法研究，提出一种简单，有效的零样本量化技术 AIT，通过 KL 距离损失和梯度操纵来提高模型性能。

Mar, 2022

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023

基于鲁棒性引导的无数据量化图像合成

我们提出了一种简单但有效的方法，即稳健导向的图像合成（RIS），通过在输入和模型权重上引入扰动，并在扰动前后在特征和预测水平上定义不一致性指标，设计一个稳健优化目标来增强合成图像的语义，进而提高图像多样性，从而在无数据压缩任务中取得了最先进的性能。

Oct, 2023