量化神经网络中的低位权重搜索
本研究介绍了一种训练低精度神经网络的方法,该方法使用二进制操作代替计算,达到降低内存大小、减少电力消耗的目的。经过MNIST、CIFAR-10、SVHN、ImageNet和Penn Treebank数据集的测试,结果表明1位权重和2位激活的量化版本的AlexNet能够达到51%的准确率,训练过程中也能使用仅有的二进制操作实现损失函数的计算,并在损失部分的代码上进行了优化,使得QNN的运行速度能比未优化的GPU加速速度快七倍,并且没有影响分类准确性。
Sep, 2016
本篇论文研究了深度神经网络的低精度模型的训练方法,探讨了在小型设备上训练深度神经网络的难点,提出了一种理论视角下的量化训练方法,并探索了非凸问题下的算法行为模型。
Jun, 2017
本文提出了一种新的量化方法,可以确保量化值分布的平衡性,通过对参数进行分位数递归划分并应用均匀量化,可以提高 QNN 的预测准确性,同时对训练速度几乎没有影响,并可适用于卷积神经网络和循环神经网络。
Jun, 2017
该论文提出了一种名为BinaryRelax的算法,用于训练具有量化权重的深度神经网络,该方法使用Moreau包络将硬约束放宽为连续正则化器,并通过逐步调整正则化参数将权重推向量化状态,经过在CIFAR和ImageNet基准数据集上的实验,表明该算法在训练效果方面具有优越性。
Jan, 2018
本文概述了卷积神经网络量化技术,研究发现通过对权重和激活进行逐通道和逐层量化,即使在不支持8位运算的情况下,将权重量化为8位可以将模型大小降低4倍,并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试,并观察到相比于CPU上的浮点运算,量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具,并回顾了用于量化训练的最佳实践。作者建议,对于硬件加速和内核优化,应将逐通道量化的权重和逐层量化的激活作为首选量化方案,并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。
Jun, 2018
该研究探索了一种新的神经网络压缩方法,通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化,成功地实现了比现有方法更高的压缩率,模型尺寸缩小21.1倍或计算量降低103.9倍
Nov, 2018
本文旨在综述深度神经网络计算中数值量化的方法和优缺点,囊括了使用固定整数值的优点、及降低4x到8x等现实应用中的实际结果,以及占用更少的内存和降低延迟的潜力。
Mar, 2021