针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

Jul, 2018

针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

Bridging the Accuracy Gap for 2-bit Quantized Neural Networks (QNN)

Jungwook Choi, Pierce I-Jen Chuang, Zhuo Wang, Swagath Venkataramani, Vijayalakshmi Srinivasan...

TL;DR本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。

Abstract

deep learning algorithms achieve high classification accuracy at the expense of significant computation cost. In order to reduce this cost, several quantization schemes have gained attention recently with some fo

deep learning quantization schemes weight quantization activation quantization neural network

发现论文，激发创造

PACT: 量化神经网络的参数化剪切激活

提出一种新的量化方案 PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以 4 位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

May, 2018

神经网络量化的高效训练方法

提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

Dec, 2019

量化神经网络：用低精度权重和激活训练神经网络

本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

Sep, 2016

AdaBits：自适应位宽神经网络量化

本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为 S-CL 的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

Dec, 2019

通过 2 位激活压缩训练减少训练内存占用的 ActNN

本文提出了一种名为 ActNN 的基于随机量化激活值实现的内存高效训练框架，该框架针对神经网络训练过程中内存不足的问题，利用分层、分维度、分样本的异质性进行多样化的量化，以达到减小内存占用和缩短训练时间的目的，Empirically 验证了 ActNN 的有效性，并表明其不会带来过大的精度损失。

Apr, 2021

神经网络的 8 位训练可扩展方法

本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

May, 2018

神经网络量化白皮书

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021

LQ-Nets: 针对高准确性和紧凑型深度神经网络的学习量化

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018

通过权重和激活量化提升大型语言模型的计算效率

该研究探讨了大型语言模型的后训练量化，特别是 4 位权重和 8 位激活（W4A8）量化，以提高计算效率，介绍了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等创新技术，并引入了整数和非规格化表示的混合数据格式（dINT）来解决 W4A8 量化中的下溢问题，并通过对 LLMs 的严格评估证明这些技术显著提高了任务准确度，并且与完整精度模型相当，通过与 dINT 兼容的算术单元的开发，进一步证实了该方法相对于 8 位整数 MAC 单元可以提升 2 倍硬件效率。

Nov, 2023

AdaQAT：自适应比特宽度量化感知训练

本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

Apr, 2024