ECCVJul, 2018

LQ-Nets: 针对高准确性和紧凑型深度神经网络的学习量化

PDF
TL;DR本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。
发现论文，激发创造
  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 可学习的压缩量化技术用于精确低比特神经网络

    本文提出了一种可学习的压缩量化方法 (LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。

    Mar, 2021

  • 量化神经网络：用低精度权重和激活训练神经网络

    本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

    Sep, 2016

  • 神经网络的训练与推理的价值感知量化

    提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

    Apr, 2018

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • 通过优化量化区间和任务损失学习量化深层网络

    通过可训练量化器和量化区间学习（QIL）来量化深层神经网络中的激活值和权重，以适应资源有限的设备，同时保持高精度和最小化精度损失。

    Aug, 2018

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 学习步长量化

    本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用 2、3 或 4 位字长量化权重和激活函数，并能够训练 3 位模型达到完全精度基线准确性，在 ImageNet 数据集上实现了迄今为止最高的准确性。

    Feb, 2019

  • 神经网络的最小二乘二值化

    本文提出了一种新的二进制量化方式，使用该方式可以提高神经网络的推断效率，并在 ImageNet 数据集上进行了实验验证。

    Jan, 2020

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018