Sep, 2016

量化神经网络: 用低精度权重和激活训练神经网络

HTML
PDF
TL;DR本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过MNIST、CIFAR-10、SVHN、ImageNet和Penn Treebank数据集的测试，结果表明1位权重和2位激活的量化版本的AlexNet能够达到51%的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得QNN的运行速度能比未优化的GPU加速速度快七倍，并且没有影响分类准确性。
发现论文，激发创造
  • 量化神经网络的训练：深入理解

    本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

    Jun, 2017

  • 平衡量化：一种有效、高效的量化神经网络方法

    本文提出了一种新的量化方法，可以确保量化值分布的平衡性，通过对参数进行分位数递归划分并应用均匀量化，可以提高 QNN 的预测准确性，同时对训练速度几乎没有影响，并可适用于卷积神经网络和循环神经网络。

    Jun, 2017

  • 量子化神经网络的简化部署

    本论文介绍了一种将QNN推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署QNN。作者展示了QNN在移动CPU上的潜力，并提供了一个比特串矩阵乘法库。

    Sep, 2017

  • PACT: 量化神经网络的参数化剪切激活

    提出一种新的量化方案PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以4位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

    May, 2018

  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持8位运算的情况下，将权重量化为8位可以将模型大小降低4倍，并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试，并观察到相比于CPU上的浮点运算，量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。

    Jun, 2018

  • LQ-Nets: 针对高准确性和紧凑型深度神经网络的学习量化

    本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在CIFAR-10和ImageNet数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

    Jul, 2018

  • 神经网络的低位量化以提高推理效率

    本文提出了一种在有限硬件资源上实现预训练模型的4位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制MSE问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

    Feb, 2019

  • 量化神经网络中的低位权重搜索

    本文提出了通过利用微分方法来搜索离散权重的概率分布并在训练过程中进行优化，以建立所需的量化神经网络，该方法在图像分类和超分辨率任务上表现明显优于现有的最先进方法。

    Sep, 2020

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在ImageNet上测试显示准确性的损失很小。

    Jan, 2022

  • 量化感知训练中克服振荡问题

    本文研究神经网络的量化问题，发现在低比特率下，深度可分离网络（如MobileNets,EfficientNets）量化训练中，量化权重可能出现意外震荡，导致在推断过程中统计错误、在训练过程中增加噪声，进而显著降低准确性。作者提出了两种新的QAT算法，分别是自适应调节震荡和迭代冻结权重，相较已有算法都表现出了更好的效果。

    Mar, 2022