Mar, 2021

多样化样本生成以获得精准的无数据量化

PDF
TL;DR数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。
发现论文，激发创造
  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 生成式低比特宽度无数据量化

    本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

    Mar, 2020

  • 基于对抗知识蒸馏的无数据量化网络

    本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

    May, 2020

  • Qimera：支持合成边界样本的无数据量化

    研究了深度神经网络的模型压缩方法，特别是适用于轻量级移动或边缘设备的推理，提出使用超定位嵌入来生成支持边界的样本，并通过附加解耦映射层和提取全精度模型的信息，改进这种方法，实现了最先进的在无数据情况下量化的性能。

    Nov, 2021

  • 质量多样性生成抽样用于合成数据学习

    通过质量 - 多样性生成抽样（QDGS）框架，我们可以生成均衡的合成数据集来训练分类器，从而提高公平性并保持面部识别基准的准确性。

    Dec, 2023

  • 使用 GAN 进行后训练模型量化以进行合成数据生成

    本研究探讨使用生成对抗网络合成数据作为用于量化方法校准的真实数据代替品，并比较使用 StyleGAN2-ADA 和预训练的 DiStyleGAN 生成的数据与真实数据和基于分形图像的替代数据生成方法量化的模型性能。结果表明，本方法具有潜力，其所选的模型精度下降百分比不到 0.6％，在 MobileNetV2 上实现了最佳性能（0.05％）。

    May, 2023

  • 可微软量化：架起全精度和低比特神经网络的桥梁

    本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

    Aug, 2019

  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • 生成式零样本网络量化

    本研究提出了一种基于 Batch Normalization 统计量的生成建模方法，能够为高层图像识别任务生成逼真的图像样本集合，来支持无需依赖真实数据的量化模型，实验表明该方法在 benchmark 数据集上有很好的性能表现。

    Jan, 2021

  • SQuant: 基于对角 Hessian 近似的即时数据无关量化

    本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上

    Feb, 2022