ICMLApr, 2020

自适应取整的后训练量化：向上或向下？

PDF
TL;DR本文提出了 AdaRound，它是一种更好的后训练量化权重舍入机制，能够适应数据和任务损失，不需要对网络进行微调，并且只使用少量无标签数据。
quantizing neural networkspost-training quantizationadaroundfixed-point valuetask loss
发现论文，激发创造
  • FlexRound: 基于元素除法的可学习取整，用于后训练量化

    本研究提出了一种名为 FlexRound 的新的权重取整机制，通过元素除法实现对预训练权重的灵活量化，可以一起学习一个公共的量化网格大小以及每个预训练权重的不同比例。实验结果表明，该机制用于后训练量化可以有效提高模型性能，并且还可以在图像分类、自然语言理解和生成等多个领域实现量化。

    Jun, 2023

  • 通过有符号梯度下降优化权重四舍五入方法对 LLM 的量化

    我们提出了一种用于优化权重舍入任务的简洁高效方法，名为 SignRound，在 400 个步骤内实现了出色的结果，超过了四舍五入的基线方法，并与最近的方法有着令人印象深刻的竞争力，而不会引入额外的推断开销。

    Sep, 2023

  • 后训练量化中的注意力轮

    本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量化性能及实用性。

    Jul, 2022

  • 使用自适应步长重新训练的深度神经网络的固定点优化

    本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。

    Feb, 2017

  • 距离感知量化

    该论文介绍了一种统一的框架来解决网络量化问题，通过引入一种新型的距离感知量化器 (DAQ), 该方法既解决了梯度匹配问题，也解决了量化差异问题，有效提高了各种位宽下的网络性能。

    Aug, 2021

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • AdaQAT：自适应比特宽度量化感知训练

    本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

    Apr, 2024

  • EasyQuant: 通过尺度优化进行后训练量化

    本文提出一种名为 EasyQuant (EQ) 的简单有效的后训练量化方法，通过尺度优化来获得类似于基于训练方法的精度。具体地，我们针对卷积输出的所有层交替优化权重和激活的规模，以进一步获取高量化精度。然后，我们将位宽降低到 INT7，同时采用 INT16 中间存储和整数 Winograd 卷积实现加速推断。各种计算机视觉任务的实验结果表明，EQ 优于 TensorRT 方法，并且在经过 7 位宽后训练可达到接近 INT8 的精度。

    Jun, 2020

  • 深度神经网络后训练分段线性量化

    本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

    Jan, 2020

  • RAPQ: 针对二次幂低比特后训练量化提高精度

    提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

    Apr, 2022