本文提出了两种新的网络量化方法,即高位量化的单层网络量化(SLQ)和极低位量化(三元)的多层网络量化(MLQ),两种方法均在有效利用深度信息方面表现出色。
Mar, 2018
通过对权重的重新排列,利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中,相对于现有技术水平,可以将压缩后网络的性能损失降低 40%至 70%。
Oct, 2020
通过使用带有 K 个条目的码簿进行实值权重的量化,我们提出了一种新方法,该方法基于模型压缩作为约束优化框架,交替进行连续权重的网络学习和权重量化(或二值化 / 三值化)的步骤,以便在量化网络的损失上收敛到局部最优解。
Jul, 2017
本文考虑使用权重量化压缩深度网络,将最近提出的有损权重二值化方案推广到三值化,并在前馈和循环神经网络上进行实验,发现该方案优于现有的权重量化算法,精度与全精度网络相当或更高。
Feb, 2018
采用离散约束优化问题和二阶泰勒展开,提出了解决深度神经网络中多精度量化问题的一种高效算法,并在 ImageNet 数据集和各种网络体系结构上得出了比现有方法更优的结果。
Oct, 2021
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018
该论文提出了一种将低位量化作为可微非线性函数的新方法,并通过该方法实现了神经网络的低位量化,并取得了比现有方法更好的效果。
Nov, 2019
本文提出一种矢量量化方法,以减小卷积神经网络架构的存储占用,能以较小的内存占用提供高精度的图像识别。
Jul, 2019
本文提出了一种快速随机算法来对完全训练的神经网络权重进行量化,建立了全网络错误边界,证明了过参数化程度增加时相对平方量化误差呈线性衰减,同时展示了在每个权重上仅使用 O (log (log N)) 位可以达到等同于无穷字母表情况下的错误边界。
Sep, 2023
提出了一种软硬编码的方法用于神经图像压缩,通过先学习一个表达力强的隐变量空间,再采用硬编码方法解决了训练集和测试集不匹配的问题,同时引入加性噪声自适应控制量化粒度,实验结果表明该方法在复杂压缩模型上表现稳定且有效。
Apr, 2021