StableQ：利用文本到图像数据增强数据稀缺量化

Dec, 2023

StableQ：利用文本到图像数据增强数据稀缺量化

StableQ: Enhancing Data-Scarce Quantization with Text-to-Image Data

Yuhang Li, Youngeun Kim, Donghyun Lee, Priyadarshini Panda

TL;DR通过使用高级的文本到图像扩散模型生成高分辨率、逼真的合成数据，StableQ 方法在零样本和少样本量化方面取得了准确性和效率上的显著改进，通过逆向可学习的令牌嵌入来引导合成数据生成过程，解决了数据稀缺量化的挑战。

Abstract

Though low-bit quantization enables efficient storage and inference of deep neural networks, it often requires the use of training data to maintain resilience against quantization errors. However, training data are frequently subject to privacy or copyright concerns. In this work, we a

low-bit quantization deep neural networks data-scarce quantization text-to-image diffusion model synthetic data generation

发现论文，激发创造

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023

StableRep: 文本到图像模型的合成图像为强视觉表示学习者

本研究探讨使用由文本到图像模型生成的合成图像学习视觉表示的潜力，提出一种多正对比学习方法，称为 StableRep。使用 20M 个合成图像训练的 StableRep 表现优于使用相同文本提示和对应真实图像的 SimCLR 和 CLIP 学习的表示，在大规模数据集上，加入语言监督之后， StableRep 的性能优于使用 50M 真实图像训练的 CLIP。

Jun, 2023

MixDQ: 高效节省内存的几步文本到图像扩散模型与度量分离混合精度量化

通过开发一种混合精度量化框架 MixDQ，我们针对强敏感度文本嵌入进行专门的 BOS 感知量化方法设计，通过度量解耦灵敏度分析来衡量每一层的敏感度，最后通过基于整数规划的方法进行位宽分配，与现有的量化方法相比，MixDQ 在保持 W8A8 品质的同时，实现了模型大小和内存成本的 3-4 倍减少，和 1.45 倍的延迟加速。

May, 2024

IntraQ: 学习带有类内异质性的合成图像，用于零样本网络量化

本研究提出 IntraQ 方法来解决现有方法在合成图像中无法保留真实数据类内异质性的问题，通过本方法在使用 4 位量化的 MobileNetV1 上，可在 ImageNet 数据集上实现比已有先进方法更高的准确性。

Nov, 2021

语义生成增强在少样本计数中的应用

通过使用合成数据和多样化生成策略，本研究探讨了合成数据对于少样本计数问题中的作用，并显示其显著改进了两种最近的高性能少样本计数模型在 FSC147 和 CARPK 数据集上的计数准确性。

Oct, 2023

文本到图像扩散模型的渐进校准和激活松弛的后训练量化

我们提出了一种新的文本到图像扩散模型的后训练量化方法 PCR（渐进校准和放松），它包括了一种渐进校准策略，考虑了时间步长上的积累量化误差，以及一种激活放松策略，在性能提升方面几乎没有成本。另外，我们展示了文本到图像扩散模型量化的先前度量不准确的问题，并提出了一种新的 QDiffBench 基准，利用相同领域的数据进行更准确的评估。此外，QDiffBench 还考虑了量化模型在校准数据集之外的泛化性能。对 Stable Diffusion 和 Stable Diffusion XL 的广泛实验证明了我们的方法和基准的优越性。此外，我们是首次在保持性能的同时实现了 Stable Diffusion XL 的量化。

Nov, 2023

ZeroQ：一种新颖的零样本量化框架

本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

Jan, 2020

生成式零样本网络量化

本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

Jan, 2021

多样化样本生成以获得精准的无数据量化

数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。

Mar, 2021

生成式低比特宽度无数据量化

本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

Mar, 2020