ICLRFeb, 2022

SQuant: 基于对角 Hessian 近似的即时数据无关量化

PDF
TL;DR本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上
发现论文，激发创造
  • 因果引导的无数据网络量化

    通过构建因果图来模拟预训练模型和量化模型之间的数据生成和差异减少，提出了因果引导的无数据网络量化方法 Causal-DFQ，通过接近因果驱动的干预分布的均衡状态来消除对数据的依赖。

    Sep, 2023

  • 使用随机量化学习准确的低比特深度神经网络

    本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

    Aug, 2017

  • ZeroQ：一种新颖的零样本量化框架

    本文提出了一种名为 ZeroQ 的新型零 - shot 量化框架，用于量化神经网络而无需访问原始数据，ZeroQ 通过优化一个与网络不同层的批量归一化统计数据相匹配的 Distilled Dataset 来实现。我们在不同的模型上进行了广泛测试，证明 ZeroQ 可以实现比 DFQ 方法更高的精度，具有极低的计算开销。

    Jan, 2020

  • 超分辨率网络后量化的分布灵活子集量化

    该论文介绍了一种名为 DFSQ 的后训练量化方法，以优化超分辨率网络，通过对激活进行通道归一化并应用分布灵活的子集量化（SQ）策略来缩短量化点的选择时间，并提出了一种快速的 K-means 聚类量化点选择策略。DFSQ 在保留各种超分辨率模型的性能的同时，大大放宽了通用集合大小的时间成本约束。

    May, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 可微软量化：架起全精度和低比特神经网络的桥梁

    本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

    Aug, 2019

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • EPTQ：通过无标签海森矩阵增强的后训练量化

    本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。

    Sep, 2023

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 通过支撑和质量均衡设计三元神经网络量化的强基准线

    本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

    Jun, 2023