Apr, 2024

如何对不对称量化范围进行参数化，用于量化感知训练

PDF
TL;DR本研究通过比较分析三种不对称均匀量化的参数化方法，即比例和偏移、最小值和最大值以及 β 和 γ，来研究其对量化感知训练的影响。我们使用控制实验和实际大型语言模型的数据进行全面分析，并着重探讨其在关键训练超参数、比特宽度和学习率变化时的行为。根据我们的研究结果，我们提出了稳定和加速可学习不对称量化范围的量化感知训练的最佳实践。
quantization-aware trainingasymmetric uniform quantizationparameterizationsbit widthlearning rate
发现论文，激发创造
  • 典型案例分析中的权重量化对模型学习的影响

    本文研究了大规模数据分析模型中使用的量化方法及其超参数选择。通过采用统计物理学中的典型案例分析，特别是副本方法，我们探索了超参数对简单学习模型的量化产生的影响，并得到了三个关键发现：（i）在位数较少和量化宽度较大的情况下会出现不稳定的超参数相位，即副本对称性破缺；（ii）存在一个最佳的量化宽度能够最小化误差；以及（iii）量化有助于延迟过参数化的发生，减轻了过拟合问题，这一点可以从双下降现象看出。此外，我们还发现非均匀量化可以增强稳定性，并开发了一个近似传递信息算法来验证我们的理论结果。

    Jan, 2024

  • 关于学习图像压缩的统一标量量化

    基于梯度训练的学习图像压缩中，量化方法的选择对于训练和测试的匹配性和梯度估计的风险存在权衡，本研究提出了一种基于随机均匀退火的方法，通过可调的温度系数来控制权衡，并使用两个巧妙的技巧改进了现有的量化方法，取得了比代表性图像压缩网络上现有方法更好的性能。

    Sep, 2023

  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020

  • AlphaTuning: 大规模预训练语言模型的量化感知参数高效适应

    本研究旨在将后训练量化与仅对定向任务的一些部分进行量化的精细调整相结合，以使模型更加快速且效率更高，我们提出了 AlphaTuning 控制模型的大小，通过二进制编码量化、调整二进制参数和针对下游任务进行唯一的倍数调整，证明我们的方法在 11 种下游任务上使用 4 位或更高的量化精度时，仅使用总参数数量的 1/10 进行细调。

    Oct, 2022

  • RepQ：通用量化感知训练重新参数化架构

    现有的神经网络在资源受限环境中部署困难，本文通过提出一种称为 RepQ 的新方法，将量化应用于重新参数化的网络，以提高神经网络的效率和模型性能。

    Nov, 2023

  • 大语言模型中的权重量化激活异常值教训

    本文提出了一种后训练量化方法，可以在不损失质量的情况下，在模型中针对 weight 使用较高的精度，大大降低了模型推理需要的 GPU 数量，实现了更高的经济性。

    Jun, 2023

  • 改进后训练神经量化：逐层校准与整数规划

    本文研究使用后训练量化方法达到低于 8 位的精度损失和模型压缩，采用分层次优化参数和整数规划方案，性能在视觉和文本模型上最优。

    Jun, 2020

  • 大型语言模型的量化策略的全面评估

    对大型语言模型的量化技术进行研究，发现 4 位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

    Feb, 2024

  • BERT 自动混合精度量化搜索

    本文提出了一种针对 BERT 模型的自动混合精度量化框架，可以在子组水平同时进行量化和修剪，实现了压缩模型和保持同样性能的目标，并结合 DistilBERT 等方法获得了极轻量级模型。

    Dec, 2021

  • 使用激活正则化减轻离群通道对于语言模型量化的影响

    准确的量化是语言模型的关键问题之一，我们研究了激活量化中的异常通道现象，并提出了一种调节输入和输出的策略，通过量化感知训练和激活峰度正则化来实现精确的 4 位参数量化。与权重后训练量化相结合，我们的方法可以获得与标准精度基准相竞争的 W4A4 模型。

    Apr, 2024