May, 2015

加速用于分类和检测的非常深的卷积网络

PDF
TL;DR本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。
convolutional neural networkstest-time computationnonlinear optimizationasymmetric reconstructionobject detection
发现论文，激发创造
  • 非线性卷积网络的高效准确近似

    本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

    Nov, 2014

  • 用于加速非常深的神经网络的通道修剪

    本文提出了一种新的通道剪枝方法，能够加速非常深的卷积神经网络，通过基于 LASSO 回归的通道选择和最小二乘重构的迭代两步算法有效地修剪每一层，进一步推广到多层和多分支情况，剪枝后的 VGG-16 实现了 5 倍速度提升和仅 0.3％误差增加的最新成果，更重要的是，本方法能够加速现代网络，例如 ResNet，Xception，分别在 2 倍加速下只有 1.4％，1.0％的准确度损失，代码已公开出售。

    Jul, 2017

  • 使用全卷积网络进行快速图像处理

    使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

    Sep, 2017

  • Fine-tuned CP 分解加速卷积神经网络

    该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。

    Dec, 2014

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • 利用卷积网络内的线性结构进行高效评估

    本文介绍了一种可以加速大型卷积神经网络测试时间评估的技术，通过利用卷积滤波器中的线性结构进行逼近计算，可以在保持模型准确率的同时，将 CPU 和 GPU 上的卷积层速度提高了 2 倍。

    Apr, 2014

  • 限定时间成本下的卷积神经网络

    本文研究在时间约束成本下，卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验，得出一个在 ImageNet 数据集中准确率很高（11.8% 的 top-5 误差，10 视图测试），但比 AlexNet（16.0% 的 top-5 误差，10 视图测试）快 20% 的网络架构。

    Dec, 2014

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 深度分解：在高效卷积神经网络中加速可分离卷积

    本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

    Oct, 2019

  • 卷积神经网络的快速算法

    研究使用 Winograd 最小滤波算法加速卷积神经网络在 GPU 上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

    Sep, 2015