ECCVMar, 2020

生成式低比特宽度无数据量化

PDF
TL;DR本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。
neural network quantizationdata-free quantizationgenerative adversarial networkslow-bitwidth datapre-trained model
发现论文，激发创造
  • 基于对抗知识蒸馏的无数据量化网络

    本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

    May, 2020

  • QGAN: 量化生成对抗网络

    本文研究了如何在仿射神经网络中量化生成对抗神经网络并提出了一种基于 EM 算法的 QGAN 方法方法，同时还提出了一种多精度算法，可帮助找到量化 GAN 模型的最佳位数以及相应的结果质量。实验结果表明，QGAN 可将 GAN 量化为 1/2 比特表示，结果质量与原始模型相当。

    Jan, 2019

  • 使用 GAN 进行后训练模型量化以进行合成数据生成

    本研究探讨使用生成对抗网络合成数据作为用于量化方法校准的真实数据代替品，并比较使用 StyleGAN2-ADA 和预训练的 DiStyleGAN 生成的数据与真实数据和基于分形图像的替代数据生成方法量化的模型性能。结果表明，本方法具有潜力，其所选的模型精度下降百分比不到 0.6％，在 MobileNetV2 上实现了最佳性能（0.05％）。

    May, 2023

  • 因果引导的无数据网络量化

    通过构建因果图来模拟预训练模型和量化模型之间的数据生成和差异减少，提出了因果引导的无数据网络量化方法 Causal-DFQ，通过接近因果驱动的干预分布的均衡状态来消除对数据的依赖。

    Sep, 2023

  • 多样化样本生成以获得精准的无数据量化

    数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。

    Mar, 2021

  • 零样本对抗量化

    本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

    Mar, 2021

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 自适应无数据量化

    本文提出了一种基于生成对抗网络的自适应无数据量化方法，通过优化生成样本与量化网络间的适应性，以达到优化网络压缩和适应性的效果，实验证明该方法优于现有技术。

    Mar, 2023

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • 生成式零样本网络量化

    本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

    Jan, 2021