SPFQ：一种用于神经网络量化的随机算法及其误差分析

Sep, 2023

SPFQ: A Stochastic Algorithm and Its Error Analysis for Neural Network Quantization

Jinjie Zhang, Rayan Saab

TL;DR本文提出了一种快速随机算法来对完全训练的神经网络权重进行量化，建立了全网络错误边界，证明了过参数化程度增加时相对平方量化误差呈线性衰减，同时展示了在每个权重上仅使用 O (log (log N)) 位可以达到等同于无穷字母表情况下的错误边界。

Abstract

quantization is a widely used compression method that effectively reduces redundancies in over-parameterized neural networks. However, existing q

发现论文，激发创造

本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

Jan, 2022

本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

Aug, 2017

本文提出了一种新的二进制量化方式，使用该方式可以提高神经网络的推断效率，并在 ImageNet 数据集上进行了实验验证。

Jan, 2020

本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案，以在达到压缩比约束的前提下最小化网络量化的性能损失，并进行了 LeNet，32 层 ResNet 和 AlexNet 的压缩实验。

Dec, 2016

本文介绍了一种神经网络压缩技术方法，建立了一个混合神经网络，由一个前馈神经网络和其量化版本组成，通过优化和可达性分析方法计算了保证的量化误差。数值例子验证了该方法的适用性和有效性。

Apr, 2023

该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

Nov, 2019

本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

Jul, 2018

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017

本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

Feb, 2019