ECCVDec, 2022

QFT：通过快速联合微调所有自由度进行后训练量化

PDF
TL;DR提出了一种硬件意识的量化网络参数化方法 —— 量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的 4 位权重量化结果。
post-training quantizationneural net accuracyquantized network parameterizationquantization dofqft
发现论文，激发创造
  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • 在 FPGA 上使用低精度 Minifloats 和整数进行后训练量化

    在这项研究中，我们通过对模型权重和激活函数使用 3 至 8 位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度 minifloats 在一系列精度 - 准确度权衡中相对于整数量化的有效性，并通过 FPGA 型号评估结果，表明整数量化通常是优选选择。

    Nov, 2023

  • 后训练量化中的注意力轮

    本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量化性能及实用性。

    Jul, 2022

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • 通过支撑和质量均衡设计三元神经网络量化的强基准线

    本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

    Jun, 2023

  • EasyQuant: 通过尺度优化进行后训练量化

    本文提出一种名为 EasyQuant (EQ) 的简单有效的后训练量化方法，通过尺度优化来获得类似于基于训练方法的精度。具体地，我们针对卷积输出的所有层交替优化权重和激活的规模，以进一步获取高量化精度。然后，我们将位宽降低到 INT7，同时采用 INT16 中间存储和整数 Winograd 卷积实现加速推断。各种计算机视觉任务的实验结果表明，EQ 优于 TensorRT 方法，并且在经过 7 位宽后训练可达到接近 INT8 的精度。

    Jun, 2020

  • L4Q：大型语言模型的参数高效量化感知训练：基于 LoRA-wise LSQ

    L4Q 是一种参数高效的量化感知训练算法，利用 LLMs 中学到的低秩适应性量化步长，实现对高精度模型的同时量化和微调，达到亚 4 位精度并保持与应用 PEFT 在量化模型上相当的训练时间。

    Feb, 2024