使用 GAN 进行后训练模型量化以进行合成数据生成

May, 2023

使用 GAN 进行后训练模型量化以进行合成数据生成

Post-training Model Quantization Using GANs for Synthetic Data Generation

Athanasios Masouris, Mansi Sharma, Adrian Boguszewski, Alexander Kozlov, Zhuo Wu...

TL;DR本研究探讨使用生成对抗网络合成数据作为用于量化方法校准的真实数据代替品，并比较使用 StyleGAN2-ADA 和预训练的 DiStyleGAN 生成的数据与真实数据和基于分形图像的替代数据生成方法量化的模型性能。结果表明，本方法具有潜力，其所选的模型精度下降百分比不到 0.6％，在 MobileNetV2 上实现了最佳性能（0.05％）。

Abstract

quantization is a widely adopted technique for deep neural networks to reduce the memory and computational resources required. However, when quantized, most models would need a suitable →

quantization deep neural networks calibration generative adversarial networks synthetic data

发现论文，激发创造

生成式低比特宽度无数据量化

本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

Mar, 2020

基于对抗知识蒸馏的无数据量化网络

本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

May, 2020

生成式零样本网络量化

本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

Jan, 2021

QGAN: 量化生成对抗网络

本文研究了如何在仿射神经网络中量化生成对抗神经网络并提出了一种基于 EM 算法的 QGAN 方法方法，同时还提出了一种多精度算法，可帮助找到量化 GAN 模型的最佳位数以及相应的结果质量。实验结果表明，QGAN 可将 GAN 量化为 1/2 比特表示，结果质量与原始模型相当。

Jan, 2019

多样化样本生成以获得精准的无数据量化

数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。

Mar, 2021

零样本对抗量化

本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

Mar, 2021

数据集量化

用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

Aug, 2023

特征量化改进 GAN 训练

本论文提出了一种对于 GAN 不稳定问题的解决方法，即对鉴别器采用 Feature Quantization（特征量化）进行特征匹配，该方法可以提升基于大规模复杂图像数据集的三种 GAN 模型的表现，使得 FID 分数获得大幅提升。

Apr, 2020

Qimera：支持合成边界样本的无数据量化

研究了深度神经网络的模型压缩方法，特别是适用于轻量级移动或边缘设备的推理，提出使用超定位嵌入来生成支持边界的样本，并通过附加解耦映射层和提取全精度模型的信息，改进这种方法，实现了最先进的在无数据情况下量化的性能。

Nov, 2021

知识内含：无数据模型压缩方法

本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

Dec, 2019