可学习的压缩量化技术用于精确低比特神经网络
本文提出了一种用于深度神经网络(DNN)压缩的联合训练方法,以便同时训练量化器和 DNN,以便量化网络权重和激活,并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示,该方法在各种网络结构上都运行良好,超越了以前的量化方法。
Jul, 2018
本篇论文讨论了深度神经网络量化的训练过程,提出了一种对称、无偏、对数化的量化方法,能够达到新的四位量化水平,有效地减少了量化过程的计算开销,同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。
Dec, 2021
本文提出了两种新的网络量化方法,即高位量化的单层网络量化(SLQ)和极低位量化(三元)的多层网络量化(MLQ),两种方法均在有效利用深度信息方面表现出色。
Mar, 2018
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018
本文提出了一种迭代的量化技术,将权重量化和完整精度权重的重新训练结合起来,以达到高压缩比和减少量化损失,同时证明该方法能够有效地利用剪枝等其他模型压缩技术,实现在 PTB 数据集上使用 1-bit 量化重量的 LSTM 模型,减少了硬件资源需求但不会降低准确性。
May, 2018
本文通过量化神经网络的权重和激活值为多个 {-1,+1} 的二进制编码来解决在性能有限的移动设备和高并发服务器上部署神经网络时的问题,并在长短时记忆和门控循环单元等领域进行了测试,结果显示仅失去一定的准确性,我们可以通过两位量化实现约 16 倍的内存节省和约 6 倍的实际推理加速,在三位量化下,我们几乎不会失去准确性,甚至可以超越原始模型,同时节省约 10.5 倍的内存和约 3 倍的实际推理加速。
Feb, 2018
本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法,该方法可以在保持准确性的同时,将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验,结果表明,这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失),并使传统硬件的速度提高了 2.2 倍,同时,与 8 位运行相比,定制的 DNN 加速器的速度提高了 2.0 倍和节能。
Nov, 2018