本文提出了一种针对深度模型量化的优化框架和量化算法,首次理论分析单个图层的参数量化误差与模型精度之间的关系,达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。
Dec, 2017
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018
本文提出了一种快速随机算法来对完全训练的神经网络权重进行量化,建立了全网络错误边界,证明了过参数化程度增加时相对平方量化误差呈线性衰减,同时展示了在每个权重上仅使用 O (log (log N)) 位可以达到等同于无穷字母表情况下的错误边界。
Sep, 2023
本文介绍了 CompVQC 框架,一种量子神经网络(QNN)压缩的系统性方法,使用交替方向乘子法(ADMM)的压缩算法,展示了 CompVQC 在减少电路深度(超过 2.5%)且精度损失极小(<1%)方面的优越性,另外 CompVQC 也提高了 QNN 在噪声量子设备上的鲁棒性。
Jul, 2022
通过使用带有 K 个条目的码簿进行实值权重的量化,我们提出了一种新方法,该方法基于模型压缩作为约束优化框架,交替进行连续权重的网络学习和权重量化(或二值化 / 三值化)的步骤,以便在量化网络的损失上收敛到局部最优解。
Jul, 2017
本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案,以在达到压缩比约束的前提下最小化网络量化的性能损失,并进行了 LeNet,32 层 ResNet 和 AlexNet 的压缩实验。
Dec, 2016
提出了一种结合量化和早期退出动态网络的更一般的动态网络方法 QuEE,通过准确预测进一步计算可能获得的潜在准确性改进,解决了传统的早期退出问题。
Jun, 2024
本文针对在给定模型大小时最大化其准确性的紧凑模型生成问题,将讨论延伸量化感知训练的方法,实现了仅在每个前向传递过程中量化不同的一组随机权重,从而利用 SE 残差正向时间传递的无偏梯度实现极端压缩的目的,并在自然语言处理和图像分类领域分别取得了新的准确性与模型大小之间的最优折中表现。
Apr, 2020
本文提出了两种新的网络量化方法,即高位量化的单层网络量化(SLQ)和极低位量化(三元)的多层网络量化(MLQ),两种方法均在有效利用深度信息方面表现出色。
Mar, 2018
本研究提出了一种针对神经网络量化的方法,该方法通过量化权重来降低计算成本、内存占用和功耗,并促进权重的稀疏性,使用本方法在 ImageNet 上测试显示准确性的损失很小。
Jan, 2022