Sep, 2023

EPTQ：通过无标签海森矩阵增强的后训练量化

PDF
TL;DR本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。
发现论文，激发创造
  • 使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

    提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。 该方法可以降低内存占用并提高延迟，同时保持模型准确性。

    Jun, 2023

  • 无需反向传播的注意力感知后训练量化

    提出了一种不依赖于反向传播的新型 PTQ 算法，通过开发具有注意力机制的 Hessian 矩阵来考虑层间依赖关系，从而显著优于传统的 PTQ 方法，特别是在低位宽情况下。

    Jun, 2024

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法 —— 量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的 4 位权重量化结果。

    Dec, 2022

  • SQuant: 基于对角 Hessian 近似的即时数据无关量化

    本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上

    Feb, 2022

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • 迈向超大规模 Transformer 的下一级后训练量化

    本文提出了一种新颖的 PTQ 算法 aespa，通过逐层量化实现高效性，同时考虑跨层依赖以保留注意力分数，通过对多种语言模型的广泛实验和复杂度分析，证明了 aespa 在量化 Transformer 模型时具备准确性和高效性。

    Feb, 2024

  • 利用任务损失引导的 Lp 度量方法提高目标检测后训练量化效果

    研究表明使用一个固定的超参数 p 不能达到最优的量化性能，因此提出了一种名为 DetPTQ 的框架，使用基于检测结果的适应性 p 值来选择最优量化参数。实验结果表明，DetPTQ 在 2D 和 3D 物体检测器上都比现有技术更优秀。

    Apr, 2023

  • 增强的分布对齐用于后训练量化扩散模型

    优化的分布对齐方法可用于增强扩散模型的后训练量化，从而解决现有方法中存在的分布不匹配问题，提高在噪声估计任务中的性能，并在低位精度情况下超过完整精度模型的性能。

    Jan, 2024

  • APTQ：针对大型语言模型的注意力感知后训练混合精度量化

    通过引入 APTQ（关注感知的后训练混合精度量化），该研究提出了一种在大规模语言模型上进行混合精度量化的方法，利用 Hessian 迹作为灵敏度指标，以实现在模型性能保持的前提下进行精度降低，并取得了优于以往量化方法的效果。

    Feb, 2024

  • QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法

    本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

    Sep, 2023