Jun, 2016

DoReFa-Net: 使用低比特梯度训练低比特卷积神经网络

HTML
PDF
TL;DR提出DoReFa-Net，一种可以使用低位宽参数梯度训练卷积神经网络的方法，可以使用位卷积核来加速训练和推理，并且可以在CPU，FPGA，ASIC和GPU上高效实现。实验表明，DoReFa-Net可以获得与32位网络相当的预测精度。
发现论文，激发创造
  • 二值化神经网络：训练深度神经网络，使权重和激活限制为+1或-1

    本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在Torch7和Theano框架上进行了实验，在MNIST、CIFAR-10和SVHN数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法GPU核函数，使得MNIST BNN可以比优化前快7倍，而不影响分类准确性。

    Feb, 2016

  • ShiftCNN: 普遍的低精度卷积神经网络推理架构

    介绍了ShiftCNN，这是一种基于2的n次幂权重表示的广义低精度卷积神经网络（CNN）推理架构，可应用于任何具有相对较小权重代码本的CNN架构，并且减少至少两个数量级的乘积运算，可实现的加速器有FPGAs或ASICs。使用提议的量化算法，ImageNet的广泛评估表明可以将最先进的CNN转换为ShiftCNN并且不到1%的准确率下降。

    Jun, 2017

  • 构建有效的低比特宽度卷积神经网络

    本研究提出了三种简单有效的方法来优化低精度权重和低比特位激活函数的深度卷积神经网络：第一，采用两阶段优化策略以逐步找到好的局部最小值；第二，逐步降低比特数；第三，同时训练全精度模型和低精度模型以提供指引。该方法在不降低网络性能的情况下成功地减小了深度学习训练的计算量和存储需求。

    Nov, 2017

  • 卷积神经网络中异构位宽二值化

    本文讨论了低比特神经网络在同质二值化和异质二值化两种情况下的表现，提出使用参数粒度量化的异质二值化方法，其在减小模型位宽并保证性能稳定方面具有优势。

    May, 2018

  • Bi-Real Net: 用先进的训练算法和改进的表示能力增强1位CNN的性能

    提出了Bi-Real net模型，它采用了一种新的训练算法来提高1-bit CNNs对大规模数据集ImageNet分类的性能，并在18层和34层下达到了56.4%和62.2%的top-1准确率。

    Aug, 2018

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性，并在ImageNet上获得了56.4％的top-1分类准确性，比现有技术提高了10％以上。

    Nov, 2018

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 使用训练二值化的准确紧凑卷积神经网络

    本文提出了一种改进的训练方法来提高具有更高准确性的紧凑型二值化CNN，其中可训练的权重和激活的比例因子被引入以增加值范围，并通过反向传播与其他参数一起进行训练。通过这些改进，与前人工作相比，本文二值化CNN在CIFAR-10上的准确度达到92.3％，在ImageNet上，我们的方法用AlexNet获得46.1％的top-1准确度，用Resnet-18获得54.2％的top-1准确度。

    Sep, 2019

  • Sub-bit神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和FPGA硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021