ICMLJun, 2023

FlexRound: 基于元素除法的可学习取整，用于后训练量化

PDF
TL;DR本研究提出了一种名为 FlexRound 的新的权重取整机制，通过元素除法实现对预训练权重的灵活量化，可以一起学习一个公共的量化网格大小以及每个预训练权重的不同比例。实验结果表明，该机制用于后训练量化可以有效提高模型性能，并且还可以在图像分类、自然语言理解和生成等多个领域实现量化。
post-training quantizationneural networksweight-roundingflexroundpre-trained weights
发现论文，激发创造
  • 自适应取整的后训练量化：向上或向下？

    本文提出了 AdaRound，它是一种更好的后训练量化权重舍入机制，能够适应数据和任务损失，不需要对网络进行微调，并且只使用少量无标签数据。

    Apr, 2020

  • 后训练量化中的注意力轮

    本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量化性能及实用性。

    Jul, 2022

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • RAPQ: 针对二次幂低比特后训练量化提高精度

    提出一种名为 RAPQ 的 Power-of-Two 低位后训练量化方法，动态调整整个网络的二的幂次方比例因子，用 BN 信息进行重构，证明该方法可以实现近似于 SOTA 方法的高精度，代码已发布。

    Apr, 2022

  • RepQuant: 基于尺度重参数化的大型 Transformer 模型准确的后训练量化

    提出了一种新型的后训练量化框架 RepQuant，通过量化推理解耦合范式，采用复杂的量化器进行量化过程，采用简化的量化器进行推理过程，同时将量化标度重新参数化，以确保准确的量化和高效的推理，并通过集成量化权重重构进一步提高性能限制，经过广泛的实验验证在不同大规模变压器变体上在视觉、语言和多模态转换任务中取得了显著的性能优势。

    Feb, 2024

  • 在 FPGA 上使用低精度 Minifloats 和整数进行后训练量化

    在这项研究中，我们通过对模型权重和激活函数使用 3 至 8 位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度 minifloats 在一系列精度 - 准确度权衡中相对于整数量化的有效性，并通过 FPGA 型号评估结果，表明整数量化通常是优选选择。

    Nov, 2023

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法 —— 量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的 4 位权重量化结果。

    Dec, 2022

  • 通过有符号梯度下降优化权重四舍五入方法对 LLM 的量化

    我们提出了一种用于优化权重舍入任务的简洁高效方法，名为 SignRound，在 400 个步骤内实现了出色的结果，超过了四舍五入的基线方法，并与最近的方法有着令人印象深刻的竞争力，而不会引入额外的推断开销。

    Sep, 2023

  • MRQ: 通过模型重新量化支持多种量化方案

    本文介绍了一种新型模型量化方法 MRQ（Model Re-quantization)，可将现有的量化模型迅速转换以满足不同的量化需求，克服了重新训练的成本和支持多种量化方案的限制。通过权重校正和舍入误差折叠等新的重量化算法，MobileNetV2 QAT 模型可在不到 0.64 的准确度损失下快速重新量化为两种不同的量化方案，已成功部署在 Echo Show 设备的 NNA 中。

    Aug, 2023

  • 通过支撑和质量均衡设计三元神经网络量化的强基准线

    本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

    Jun, 2023