CVPRMar, 2023

零样本量化中的难样本问题

PDF
TL;DR本文提出了一种 HArd 样本合成和训练（HAST）方法来解决现有零样本量化方法中合成样本容易过度拟合从而导致性能降低的问题。该方法通过对难合成样本的特殊合成和特征对齐来保证合成样本的质量，最终实验结果表明 HAST 方法比现有零样本量化方法表现更好，接近于使用实际数据量化得到的模型性能。
zero-shot quantizationneural networkssynthetic samplesperformance degradationhard sample synthesizing
发现论文，激发创造
  • 零样本对抗量化

    本文提出了一个零样本敌对量化（ZAQ）框架，利用两级子空间分别描述数据分布的不同特征，通过生成对抗网络驱动生成器合成出优化量化模型的多样性数据示例，实现对全精度模型到其量化模型的有效差异估计和知识转移。在三个基本的视觉任务上进行了广泛实验，证实了 ZAQ 在零样本量化方面的卓越性，并验证了其主要组成部分的有效性。

    Mar, 2021

  • 零炮灰锐度感知量化预训练语言模型

    我们提出了一种新颖的零射频锐化感知量化（ZSAQ）框架，用于各种预训练语言模型的零射频量化，并理论证明了 SAM-SGA 优化算法的收敛速度以及该结果适用于其他非凸型极小 - 极大优化框架。通过在 11 个任务上进行大量实验证明，我们的方法在鉴别性和生成性预训练语言模型上都带来了一致且显著的性能提升，即最高可达 + 6.98 的平均得分，并且在实践中验证了我们的方法能够有效改善模型的泛化能力。

    Oct, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • IntraQ: 学习带有类内异质性的合成图像，用于零样本网络量化

    本研究提出 IntraQ 方法来解决现有方法在合成图像中无法保留真实数据类内异质性的问题，通过本方法在使用 4 位量化的 MobileNetV1 上，可在 ImageNet 数据集上实现比已有先进方法更高的准确性。

    Nov, 2021

  • Qimera：支持合成边界样本的无数据量化

    研究了深度神经网络的模型压缩方法，特别是适用于轻量级移动或边缘设备的推理，提出使用超定位嵌入来生成支持边界的样本，并通过附加解耦映射层和提取全精度模型的信息，改进这种方法，实现了最先进的在无数据情况下量化的性能。

    Nov, 2021

  • ZeroQ：一种新颖的零样本量化框架

    本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

    Jan, 2020

  • Genie：量化数据展示

    该研究介绍了一种基于后训练的、使用合成数据进行零样本量化的方法，并提出了一种名为 “Genie” 的框架，用于生成适用于量化的数据，通过将它们组合，可以在不使用实际数据集的情况下获取独特的最先进的零样本量化方法。

    Dec, 2022

  • 软硬结合：重新思考神经图像压缩中的量化

    提出了一种软硬编码的方法用于神经图像压缩，通过先学习一个表达力强的隐变量空间，再采用硬编码方法解决了训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验结果表明该方法在复杂压缩模型上表现稳定且有效。

    Apr, 2021

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • StableQ：利用文本到图像数据增强数据稀缺量化

    通过使用高级的文本到图像扩散模型生成高分辨率、逼真的合成数据，StableQ 方法在零样本和少样本量化方面取得了准确性和效率上的显著改进，通过逆向可学习的令牌嵌入来引导合成数据生成过程，解决了数据稀缺量化的挑战。

    Dec, 2023