Aug, 2023

基于梯度的训练后量化: 对现状的挑战

HTML
PDF
TL;DR量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的GPTQ方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的GPTQ方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。
发现论文，激发创造
  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

    Jun, 2018

  • 自适应取整的后训练量化：向上或向下？

    本文提出了AdaRound，它是一种更好的后训练量化权重舍入机制，能够适应数据和任务损失，不需要对网络进行微调，并且只使用少量无标签数据。

    Apr, 2020

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization和Quantization-Aware Training。

    Jun, 2021

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在ImageNet上测试显示准确性的损失很小。

    Jan, 2022

  • GPTQ: 针对生成式预训练变换器的准确后训练量化

    本研究提出了GPTQ一种新的一次性量化方法，可以在4个GPU小时内将GPT模型的参数数量降至1750亿，每个权重只需使用3到4个比特位即可恢复几乎与未压缩基线相同的准确性，在单个GPU内执行1750亿参数模型，快于使用FP16格式的GPU，且可提供3.25倍至4.5倍的推理加速度。

    Oct, 2022

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法——量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的4位权重量化结果。

    Dec, 2022

  • COMQ：一种免反向传播的用于后训练量化的算法

    采用了一种创新的PTQ算法COMQ，通过逐层坐标最小化重构误差，使得精简后的模型在不损失原始准确性的情况下高效部署

    Mar, 2024

  • CDQuant: 使用贪婪协调下降的准确大型预训练模型的训练后权重量化

    CDQuant是一个简单且可扩展的替代GPTQ的算法，使用坐标下降法来实现高质量的量化权重，通过在PaLM2模型系列上进行广泛评估，我们证明CDQuant在各种模型规模和量化级别下始终优于GPTQ。

    Jun, 2024

  • 大规模模型量化的艺术与科学：全面概述

    本论文系统性地概述了大规模神经网络模型量化的原则、挑战和方法，指出了模型规模增长所带来的计算成本和能源开销问题。通过深入探讨量化技术，包括后训练量化（PTQ）和量化感知训练（QAT），论文展示了如何在不显著影响精度的情况下，降低模型规模并提高效率，为可持续和可获取的大规模模型部署提供了重要影响。

    Sep, 2024