深度神经网络在量化下的鲁棒性
通过改变神经网络的结构和权重的位数,本文比较了硬件实现中神经网络规模和权重量化对网络性能的影响,提出了在硬件资源有限的情况下,指导网络规模和权重精度平衡的有效压缩比。
Nov, 2016
该论文提出了一种基于量化的后训练量化流程,无需重新训练即可加速深度神经网络的推理,并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。
Oct, 2022
本文提出了一种对定点优化算法的改进,它可以动态估计量化步长,同时实现了逐步量化方案,经实验发现:该算法适用于前馈神经网络、卷积神经网络和循环神经网络。
Feb, 2017
本研究通过基于再训练的量化方法分析了循环神经网络的定点性能,研究了 RNN 每一层的量化敏感度,并提出了能够在不损失性能的情况下最小化权重容量的整体定点优化结果。实验使用了语言模型和音素识别示例。
Dec, 2015
本文概述了卷积神经网络量化技术,研究发现通过对权重和激活进行逐通道和逐层量化,即使在不支持 8 位运算的情况下,将权重量化为 8 位可以将模型大小降低 4 倍,并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试,并观察到相比于 CPU 上的浮点运算,量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具,并回顾了用于量化训练的最佳实践。作者建议,对于硬件加速和内核优化,应将逐通道量化的权重和逐层量化的激活作为首选量化方案,并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。
Jun, 2018
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。
Oct, 2018
本文考虑使用权重量化压缩深度网络,将最近提出的有损权重二值化方案推广到三值化,并在前馈和循环神经网络上进行实验,发现该方案优于现有的权重量化算法,精度与全精度网络相当或更高。
Feb, 2018
本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet),该框架可以在保证网络精度的前提下,根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中,模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩,同时准确率只有不到 2% 的损失。
Mar, 2022
本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法,通过在不同结构、层次上采用不同的精度,达到更好的压缩比和准确率的平衡。实验结果表明,与传统量化方法相比,该方法在相同压缩率下表现更优。
Oct, 2018