ICLRDec, 2014

用于前馈加速的扁平化卷积神经网络

PDF
TL;DR本文提出了用于快速前馈执行的扁平卷积神经网络，该网络训练扁平化的连续序列 1D 过滤器，可通过减少学习参数以提供约两倍的速度提升，可以有效地替代 3D 过滤器而不会丧失准确性，而且无需人工调整或后处理
发现论文，激发创造
  • PerforatedCNNs: 通过消除冗余卷积加速

    通过循环穿孔技术，我们提出一种降低卷积神经网络在低功耗设备如手机上计算成本的新方法，可以将现代卷积网络的速度提高 2 倍至 4 倍，这种方法还可以补充最近由 Zhang 等人提出的加速方法。

    Apr, 2015

  • Rank-1 卷积神经网络

    本文提出一种卷积神经网络（CNN），通过 1-D 滤波器的外积组成 3-D rank-1 滤波器，训练后，3-D rank-1 滤波器可以在测试时分解为 1-D 滤波器进行快速推断，已证明具有更好的梯度流和低秩输出。

    Aug, 2018

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 卷积神经网络的快速算法

    研究使用 Winograd 最小滤波算法加速卷积神经网络在 GPU 上的训练，以满足自动驾驶汽车行人检测和移动电话图像识别的低延迟和有限资源处理要求。

    Sep, 2015

  • 滤波器共享：用于体卷积参数的高效学习

    本文介绍了一种在训练期间利用卷积神经网络（CNNs）中学习到的滤波器的显着冗余的方法，通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器，从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割，证明了该方法只需要少量训练例子即可获得良好的结果。

    Dec, 2016

  • 学习卷积神经网络压缩的滤波器基础

    本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

    Aug, 2019

  • 深度炸神经网络

    本文介绍了使用单个 Fastfood 层代替卷积神经网络中的所有全连接层，并将其与卷积层结合成新的架构，名为深度炸炸卷积网络，从而大幅减少 MNIST 和 ImageNet 训练的卷积网络的内存占用并保持预测性能不变。

    Dec, 2014

  • 凸化卷积神经网络

    介绍一种凸化卷积神经网络方法，利用再现核希尔伯特空间将卷积滤波器表示为向量，并将 CNN 参数表示为低秩矩阵，进而通过凸优化求解 CNN，其泛化误差与最优 CNN 一致，CCNNs 通过逐层训练使其在性能上与基线方法相当。

    Sep, 2016

  • 基于前馈设计的可解释卷积神经网络

    本文提出了一种解释性前馈 (FF) 设计，通过数据统计推导出当前层的网络参数，构建了基于 Saab 变换和 LRS 级联的卷积与全连接层的 CNN， 并在 MNIST 和 CIFAR-10 数据集上比较了 BP 和 FF 设计的分类准确性和鲁棒性，并探讨了 BP 和 FF 设计之间的关系。

    Oct, 2018

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

    May, 2015