Mar, 2016

使用二进制卷积神经网络进行ImageNet分类的XNOR-Net

HTML
PDF
TL;DR本文提出了两种卷积神经网络的高效近似方案：二进制权重网络和XNOR-网络，其中XNOR-网络既将卷积层输入又将滤波器二值化，主要利用二值运算来近似卷积，这使得卷积速度快58倍且内存占用仅为原来的1/32，而且其分类性能在ImageNet数据集上也优于其他网络二值化方法。
发现论文，激发创造
  • 细节之魔归来：深入探究卷积神经网络

    本文通过严格的评估探索了不同的深度学习架构，比较它们在公共领域的性能，并识别和披露了重要的实现细节，同时指出了CNN基础表示的几个有用属性，包括输出层维度可以显著降低而不会对性能产生不利影响，以及深浅层方法可以成功共享的方面。

    May, 2014

  • ZNN - 一个快速可扩展的算法，用于在多核和众核共享内存机器上训练 3D 卷积网络

    本研究介绍了一种基于任务分解的并行算法ZNN，它能够在计算机视觉中应用广泛的卷积神经网络中实现PRAM模型下的线性加速，通过时间局部化和一种几乎无等待的并发方法，此算法能够在共享内存机器上达到与物理核心数量相当的加速效果，适用于宽网络结构。此算法基于CPU的任务并行性，与GPU的SIMD并行性相比，ZNN的开发和维护成本相对较低。

    Oct, 2015

  • 计算机视觉深度卷积神经网络分类

    该研究论文探讨了计算机视觉问题中使用深度学习技术的发展趋势，着重介绍了卷积神经网络（CNNs）及其应用，帮助初学者了解何种深度网络适用于计算机视觉问题。

    Jan, 2016

  • 网络草图：在深度CNN中利用二进制结构

    本文提出使用网络草图技术进行张量扩展从而生成二值化CNN网络，并且在ImageNet分类任务上取得了比现有模型更高的准确率。

    Jun, 2017

  • 朝着精准二值卷积神经网络

    本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网络相当的预测准确性。

    Nov, 2017

  • Bi-Real Net: 将深度网络二值化以实现真实网络性能

    本文研究了一比特卷积神经网络，通过使用Bi-Real net和新颖的训练算法来提高其表现能力和训练困难性，并在ImageNet上获得了56.4％的top-1分类准确性，比现有技术提高了10％以上。

    Nov, 2018

  • 回归简单：如何从头训练准确的二值神经网络？

    本研究关注二值神经网络的训练精度问题，提出了一些新的设计原则，设计出了一种新的二值神经网络体系结构BinaryDenseNet，并在ImageNet数据集上获得18.6%和7.6%的精度改进。

    Jun, 2019

  • XNOR-Net++: 二值神经网络的改进

    本文提出了一种改进的训练算法，用于针对二元神经网络的权重和激活二进制数的训练，提出了一种新的比XNOR-Net更优的方法，通过反向传播学习判别式融合激活和权重缩放因子。实验表明，与分析计算的结果相比，我们的方法更加准确，且在相同的计算预算下，可在 ImageNet 分类任务中提供高达 6% 的准确性提升。

    Sep, 2019

  • 使用实数到二进制卷积训练二值神经网络

    本文介绍了如何训练二值网络，并通过优化过程和实值卷积输出来最大限度地提高准确性，这对于图像分类任务非常有用。

    Mar, 2020

  • Sub-bit神经网络：学习压缩和加速二进制神经网络

    介绍了一种基于子位二值化的神经网络设计，通过针对二值卷积核子集训练，使用随机采样和优化步骤来调整这些子集，从而压缩和加速二值神经网络的模型。实验证明，该方法在图像识别基准和FPGA硬件部署上具有巨大潜力，可以在适度降低识别准确度的情况下实现运行时间加快和模型压缩。

    Oct, 2021