深度神经网络自适应量化
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018
本文提出一种不同的量化方法,使用不同的参数化方法来训练深度神经网络,从而达到更高效深度神经网络推理的效果。通过多组实验验证,使用该方法训练得到的量化参数可以达到最佳效果。
May, 2019
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。
Oct, 2018
本文提出了一种用于深度神经网络(DNN)压缩的联合训练方法,以便同时训练量化器和 DNN,以便量化网络权重和激活,并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示,该方法在各种网络结构上都运行良好,超越了以前的量化方法。
Jul, 2018
本文研究深度神经网络量化的问题,针对不同的架构提出了一些不同的替代方案,并在 ImageNet 数据集上进行了图像分类实验,结果表明后量化准确率与浮点数版本在 0.7%以内。
Nov, 2020
本文提出了两种新的网络量化方法,即高位量化的单层网络量化(SLQ)和极低位量化(三元)的多层网络量化(MLQ),两种方法均在有效利用深度信息方面表现出色。
Mar, 2018
本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法,并探究了直接适应、渐进适应和联合训练等多种方法,最终提出了一种称为 S-CL 的新技术,证明了通过位宽自适应可以在实现高精度的同时实现高效率,从而在真实世界应用中快速适配。
Dec, 2019
本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法,该方法可以在保持准确性的同时,将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验,结果表明,这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失),并使传统硬件的速度提高了 2.2 倍,同时,与 8 位运行相比,定制的 DNN 加速器的速度提高了 2.0 倍和节能。
Nov, 2018