Nov, 2023

在 FPGA 上使用低精度 Minifloats 和整数进行后训练量化

PDF
TL;DR在这项研究中，我们通过对模型权重和激活函数使用 3 至 8 位的浮点数和整数量化方案，比较了浮点数量化和整数量化的适用性，验证了低精度 minifloats 在一系列精度 - 准确度权衡中相对于整数量化的有效性，并通过 FPGA 型号评估结果，表明整数量化通常是优选选择。
post-training quantizationminifloatsfloating-point formatsptq techniquesinteger quantization
发现论文，激发创造
  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • FP8-BERT：Transformer 的后训练量化

    本文通过对 GLUE 和 SQuAD v1.1 数据集上的 BERT 变种进行大量实验，验证了 FP8 作为一种进行后训练量化的有效方式，能够在不显著损失精度的情况下提高准确性。

    Dec, 2023

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法 —— 量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的 4 位权重量化结果。

    Dec, 2022

  • 大型语言模型的后训练量化综合研究

    通过数万次的零 - shot 实验，我们对后期训练量化 (PTQ) 的各种组成成分和效应进行了全面的研究，发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如，5 比特）比非常细粒度量化的低比特位（例如，4 比特）更强大。

    Mar, 2023

  • 深度神经网络后训练分段线性量化

    本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

    Jan, 2020

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • EasyQuant: 通过尺度优化进行后训练量化

    本文提出一种名为 EasyQuant (EQ) 的简单有效的后训练量化方法，通过尺度优化来获得类似于基于训练方法的精度。具体地，我们针对卷积输出的所有层交替优化权重和激活的规模，以进一步获取高量化精度。然后，我们将位宽降低到 INT7，同时采用 INT16 中间存储和整数 Winograd 卷积实现加速推断。各种计算机视觉任务的实验结果表明，EQ 优于 TensorRT 方法，并且在经过 7 位宽后训练可达到接近 INT8 的精度。

    Jun, 2020

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 可训练的固定点量化用于在 FPGA 上加速深度学习

    通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

    Jan, 2024