Jul, 2023

通过混合精度补偿实现无数据量化，无需微调

PDF
TL;DR本文提出了一种数据自由的混合精度补偿方法，通过数学公式对预训练的全精度模型和其逐层混合精度量化模型之间的重构损失进行最小化，无需任何数据和微调过程即可实现超低精度量化模型的更高精度。
neural network quantizationdata-free quantizationultra-low precision quantizationmixed-precision compensationreconstruction loss
发现论文，激发创造
  • 统一的无数据压缩：剪枝和量化无需微调

    提出了一种名为 Unified Data-Free Compression（UDFC）的新框架，它能够在没有数据和微调过程的情况下同时进行修剪和量化，从而减少神经网络的推理时间和内存占用。在大规模图像分类任务上评估 UDFC，与各种网络架构和压缩方法相比，获得了显著的改进。

    Aug, 2023

  • 生成式低比特宽度无数据量化

    本文提出了一种简单而有效的方法，叫做生成式低比特数据无关量化 (GDFQ)，通过使用预训练模型中的分类边界知识和分布信息，利用知识匹配生成器生成有意义的虚假数据，从而消除数据依赖负担，来量化模型。在三个数据集上的广泛实验证明了本方法的有效性，并且在 4 位量化上的精确性要比现有的数据无关量化方法高得多。

    Mar, 2020

  • 知识内含：无数据模型压缩方法

    本论文提出三种从训练模型中生成合成样本的方法，用于压缩和微调量化模型，不需要真实数据支持，可以用于数据敏感情况，最佳方法与原始训练样本相比具有可忽略的准确度下降，此方法利用训练模型的内在批归一化层统计信息，可用于评估数据之间的相似性，为真正的数据无损模型压缩打开了道路，并在模型部署过程中减轻了对训练数据的需求。

    Dec, 2019

  • 基于对抗知识蒸馏的无数据量化网络

    本文提出了一种无需数据的对抗知识蒸馏，通过合成数据来实现数据自由的网络量化，包括多个生成器和多个学生的多样化对抗样本，实现了 (wide) residual networks 和 MobileNet 在 SVHN、CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上最先进的数据自由模型压缩和量化效果。

    May, 2020

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024

  • 具有准确激活裁剪和自适应批量归一化的无数据量化

    本文提出了一种简单而有效的数据自由量化方法，通过准确的激活剪辑和自适应批量归一化来提高模型的准确性和处理量化误差。广泛的实验证明，该方法可以取得惊人的性能，达到了 ImageNet 数据集上 ResNet18 的 64.33% 的 top-1 准确度，比现有的最先进方法提高了 3.7% 的绝对值。

    Apr, 2022

  • 基于混合强化学习的数据质量感知混合精度量化

    本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

    Feb, 2023

  • 多点后训练量化：混合精度的实现而无需混合精度

    本文提出一种基于多点量化的离线量化方法，该方法通过线性组合多个低精度数据来逼近完整的权重向量。在不使用专门的混合精度实现的情况下，该方法取得了比业界其他方法更好的精度并广泛适用于多个领域。

    Feb, 2020

  • SQuant: 基于对角 Hessian 近似的即时数据无关量化

    本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上

    Feb, 2022

  • 多样化样本生成以获得精准的无数据量化

    数据无关量化方法的统计数据不均衡问题限制了其在神经网络压缩方面的应用；本文提出了 Diverse Sample Generation（DSG）方法以在分布和样本层面缓解这一问题，其可以应用于当前一些最先进的量化方法中，如 AdaRound。在大规模图像分类任务上，经过合成数据校准的模型的性能可以达到通过真实数据校准的模型的性能，甚至在一些情况下表现更好。

    Mar, 2021