May, 2015

加速用于分类和检测的非常深的卷积网络

HTML
PDF
TL;DR本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在Object detection中实现了优雅的精度降级。
发现论文，激发创造
  • 利用卷积网络内的线性结构进行高效评估

    本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将CPU和GPU上的卷积层速度提高了2倍。

    Apr, 2014

  • 细节之魔归来：深入探究卷积神经网络

    本文通过严格的评估探索了不同的深度学习架构，比较它们在公共领域的性能，并识别和披露了重要的实现细节，同时指出了CNN基础表示的几个有用属性，包括输出层维度可以显著降低而不会对性能产生不利影响，以及深浅层方法可以成功共享的方面。

    May, 2014

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了2.5倍和在不到1％精度下降的情况下获得了4.5倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 非线性卷积网络的高效准确近似

    本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将ImageNet的训练速度提升4倍，精度提高4.7%。

    Nov, 2014

  • 快速 R-CNN

    本文提出了一种用于物体检测的快速区域卷积网络方法（Fast R-CNN），该方法采用了深度卷积神经网络对目标建议进行高效分类，相较于之前的方法，在提高检测精度的同时，大幅提高了训练和测试的速度。

    Apr, 2015

  • 卷积神经网络的快速算法

    研究使用Winograd最小滤波算法加速卷积神经网络在GPU上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

    Sep, 2015

  • ZNN - 一个快速可扩展的算法，用于在多核和众核共享内存机器上训练 3D 卷积网络

    本研究介绍了一种基于任务分解的并行算法ZNN，它能够在计算机视觉中应用广泛的卷积神经网络中实现PRAM模型下的线性加速，通过时间局部化和一种几乎无等待的并发方法，此算法能够在共享内存机器上达到与物理核心数量相当的加速效果，适用于宽网络结构。此算法基于CPU的任务并行性，与GPU的SIMD并行性相比，ZNN的开发和维护成本相对较低。

    Oct, 2015

  • 低秩卷积滤波器在图像分类中训练CNN的有效性

    本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在CIFAR、ILSVRC和MIT Places数据集上训练了几种现有的CNN体系结构，并证实其优异的性能。

    Nov, 2015

  • 低精度和稀疏性加速深度卷积网络

    本研究旨在通过采用极低精度（2位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约3倍，且在Imagenet物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心dLAC，可实现每平方毫米单精度浮点运算的TFLOP当量，半精度时可达到每平方毫米的2个TFLOP。

    Oct, 2016

  • 深度神经网络模型压缩与加速综述

    本文对深度神经网络模型压缩和加速的最新技术进行了回顾，介绍了参数修剪、量化、转移/紧凑卷积滤镜和知识蒸馏等四类技术及其表现、应用、优点和缺点，同时探讨了评估矩阵、评估模型表现所使用的主要数据集和最近的基准努力，并讨论了面临的挑战和未来方向。

    Oct, 2017