A2Q: 累加器感知量化与溢出保护

Aug, 2023

A2Q: Accumulator-Aware Quantization with Guaranteed Overflow Avoidance

Ian Colbert, Alessandro Pappalardo, Jakoba Petri-Koenig

TL;DR我们提出了一种适用于训练量化神经网络（QNNs）以避免在推断过程中使用低精度累加器时的溢出问题的新颖的权重量化方法 ——accumulator-aware quantization（A2Q）。A2Q 引入了一种受权重归一化启发的独特公式，根据我们导出的累加器比特宽度限制来约束模型权重的 L1 范数。因此，在训练低精度累加器的 QNNs 时，A2Q 还本质上促进了非结构化权重稀疏性以保证溢出避免。我们将该方法应用于基于深度学习的计算机视觉任务，以表明 A2Q 可以在保持与浮点基准相竞争的模型准确性的同时，训练适用于低精度累加器的 QNNs。在我们的评估中，我们考虑了 A2Q 对通用平台和可编程硬件的影响。然而，我们主要针对在 FPGAs 上部署模型，因为它们可以被编程以充分利用定制累加器比特宽度。我们的实验表明，累加器比特宽度显著影响基于 FPGA 的加速器的资源效率。在我们的基准测试中，A2Q 相比于 32 位累加器对应物平均提供高达 2.3 倍的资源利用率降低，同时保持 99.2% 的浮点模型准确性。

Abstract

We present accumulator-aware quantization (A2Q), a novel weight quantization method designed to train quantized neural networks (QNNs) to avoid overflow when using low-precision accumulators during inference. A2Q

accumulator-aware quantization low-precision accumulators weight normalization unstructured weight sparsity fpga-based accelerators

发现论文，激发创造

A2Q+: 提高累加器感知的权重量化

通过限制权重和激活函数的精度，量化技术通常降低神经网络推理成本。最近的研究表明，降低累加器的精度可以进一步提高硬件效率，但存在数值溢出的风险，这会导致算术错误并降低模型的准确性。为了避免数值溢出并保持准确性，最新的工作提出了一种称为累加器感知量化（A2Q）的量化感知训练方法，在训练期间约束模型权重以在推理过程中安全地使用目标累加器位宽。尽管这显示出了潜力，但我们证明 A2Q 依赖于过于严格的约束和亚优化的权重初始化策略，每个都引入了多余的量化误差。为了解决这些缺点，我们引入了两个改进：（1）一种改进的上界，缓解了累加器约束而不损害溢出避免；（2）一种从预训练的浮点检查点初始化量化权重的新策略。我们将这些贡献与权重归一化结合起来，引入 A2Q+。我们通过实验证实，A2Q + 显著改善了累加器位宽和模型准确性之间的权衡，并表征了累加器约束引起的新的权衡。

Jan, 2024

量化神经网络实现低精度累计并保证溢出避免

这篇研究论文介绍了一种量化感知训练算法，该算法通过权重归一化约束参数，使用累加器位宽界限来避免数值溢出，在保持模型精度的同时，可以减少累加器的精度，并提高量化神经网络中的稀疏性和可压缩性，从而提高 FPGA 设计效率。

Jan, 2023

A^2Q：面向图神经网络的聚合感知量化

本文提出了一种基于图神经网络特征的聚合感知混合精度量化方法（$ m A^2Q$）, 通过学习自适应的节点位宽来实现模型压缩，模型应用于节点与图级别任务时，相较于 FP32 模型可以达到高达 18.6x 压缩比且精度几乎不降低。同时，本文提出的方法相较于当前最先进的量化方法，在节点级别和图级别任务中可分别达到 11.4% 和 9.5% 的精度提升，以及专用硬件上可达到 2 倍的加速比。

Feb, 2023

AWQ：激活感知权重量化用于低限制存储压缩和加速

提出了一种基于激活函数的、硬件友好型的低比特权重量化方法。该方法可以保护神经网络的关键权重并保持其泛化能力，在不影响硬件效率的前提下，有效降低了语言模型部署的成本。

Jun, 2023

HAQ: 硬件感知自动混合精度量化

本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

Nov, 2018

AdaQAT：自适应比特宽度量化感知训练

本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

Apr, 2024

深度网络中使用较低位宽累加器实现更廉价的推理

我们提出了一种简单的方法来训练和微调高端深度神经网络，首次允许使用更廉价的 12 位累加器，而不会出现显著的准确度降低。最后，我们证明，通过进一步降低累加器的精度，并使用细粒度梯度逼近可以提高深度神经网络的准确性。

Jan, 2024

深度神经网络的超低精度训练中的位宽累积缩放

通过统计方法分析深度学习中的累加器准确性，得到了将计算硬件精度进行精确定制的方案，并证明了这种方案可以得到面积和功率最优的系统。

Jan, 2019

量化感知训练中克服振荡问题

本文研究神经网络的量化问题，发现在低比特率下，深度可分离网络（如 MobileNets,EfficientNets）量化训练中，量化权重可能出现意外震荡，导致在推断过程中统计错误、在训练过程中增加噪声，进而显著降低准确性。作者提出了两种新的 QAT 算法，分别是自适应调节震荡和迭代冻结权重，相较已有算法都表现出了更好的效果。

Mar, 2022

量化感知训练：高性能极低比特架构搜索

本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

Oct, 2020