本文介绍一种可微的量化过程,将连续分布转换为分类型分布,然后通过松弛到连续的代理来实现高效的基于梯度的优化,还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.
Oct, 2018
本文提出了一种用于深度神经网络(DNN)压缩的联合训练方法,以便同时训练量化器和 DNN,以便量化网络权重和激活,并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示,该方法在各种网络结构上都运行良好,超越了以前的量化方法。
Jul, 2018
本研究提出了一种训练低精度神经网络的方法,Learned Step Size Quantization,该方法使用 2、3 或 4 位字长量化权重和激活函数,并能够训练 3 位模型达到完全精度基线准确性,在 ImageNet 数据集上实现了迄今为止最高的准确性。
Feb, 2019
通过可训练量化器和量化区间学习(QIL)来量化深层神经网络中的激活值和权重,以适应资源有限的设备,同时保持高精度和最小化精度损失。
Aug, 2018
该论文提出了一种将低位量化作为可微非线性函数的新方法,并通过该方法实现了神经网络的低位量化,并取得了比现有方法更好的效果。
Nov, 2019
本文提出了一种针对深度模型量化的优化框架和量化算法,首次理论分析单个图层的参数量化误差与模型精度之间的关系,达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。
Dec, 2017
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法,其逐渐将网络量化,并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度,适用于嵌入式应用。
Aug, 2017
本篇论文讨论了深度神经网络量化的训练过程,提出了一种对称、无偏、对数化的量化方法,能够达到新的四位量化水平,有效地减少了量化过程的计算开销,同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。
Dec, 2021
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。