CVPRApr, 2017

使用宽度减少精度网络进行训练和推断

PDF
TL;DR本研究旨在通过使用一种新的量化方案来缩减激活函数，从而提高计算机视觉应用的性能。我们发现这种方案可以在不降低模型精度的情况下，大大降低动态内存占用、内存带宽、计算能量并加速训练和推理过程。我们称其为宽面减少精度网络，研究表明其结果优于以前提出的精度网络。
computer visionreduced-precision activationsquantization schemememory footprintilsvrc-12 dataset
发现论文，激发创造
  • WRPN：宽度减少精度网络

    研究表明，使用 WRPN 减少激活地图的精度以及增加层中的滤波器地图数量，可以提高深度神经网络的执行效率和速度，并达到基于全精度网络的准确性。

    Sep, 2017

  • RTN: 重新参数化三值网络

    该研究探讨了在资源有限设备上部署深度神经网络的量化方法，研究了极低比特网络，提出了解决量化值中的三个问题的新方法，并在 ImageNet 上进行了实验。结果表明，与现有的方法相比，所提出的再参数化三元网络（RTN）具有更好的精度和比特宽度效率，在 FPGA 上的计算模式也具有更高的功率和面积节省。

    Dec, 2019

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 为高效嵌入式推断发现接近全精度网络的低精度网络

    通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术，可以发现与 fp32 模型接近的低精度模型，同时提高了效率，本文证明了 4 位精度足以进行分类。

    Sep, 2018

  • 深度神经网络有界内存的降低精度策略

    该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响，发现误差容限不仅在不同网络之间有差异，而且在网络内部也有变化；进一步提出了一种方法，可以找到网络的低精度配置，同时保持高准确性。研究表明，相对于在所有层中使用 32 位浮点表示的传统实现，数据足迹可以平均减少 74％，最高可降至 92％，而相对准确性损失不到 1％。

    Nov, 2015

  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017

  • 低精度 RNN：量化 RNN 而不失准确性

    本文提出了一种量化方法，通过减少比特宽度来提高模型大小，从而使网络在保持精度的同时，仍能获得减少精度和整体模型大小减少的好处。

    Oct, 2017

  • 神经网络的训练与推理的价值感知量化

    提出了一种新的价值感知量化方法，通过将大多数数据应用极低的精度并单独处理一小部分高精度数据以减少总量化误差。该方法可显著减少 ResNet-152 和 Inception-v3 的激活器内存成本，并能实现 1％以下的 top-1 精度下降。

    Apr, 2018

  • 量化神经网络：用低精度权重和激活训练神经网络

    本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

    Sep, 2016

  • 深度神经网络快速部署的量化技术

    本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

    Oct, 2018