ICLRNov, 2015

低秩卷积滤波器在图像分类中训练 CNN 的有效性

PDF
TL;DR本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。
发现论文，激发创造
  • 利用层级过滤器组提高 CNN 效率的深层网络

    通过采用一种新颖的稀疏连接结构，类似于树根，在利用层间滤波器依赖性的稀疏性的基础上，我们提出了一种新的方法来创建计算效率高且紧凑的卷积神经网络（CNN）。我们在 CIFAR10 和 ILSVRC 数据集上训练采用这种方法的 CNN 体系结构，结果表明，与基线架构相比，在较少的计算量情况下能实现类似或更高的准确率和更少的参数数量和浮点运算数。

    May, 2016

  • 学习卷积神经网络压缩的滤波器基础

    本论文提出基于卷积层中滤波器基的卷积神经网络参数数量缩减的方法，通过在多个 CNN 架构上对图像分类和图像超分辨率基准进行实验，结果表明该方法在减少参数和保持精确度方面优于现有技术。

    Aug, 2019

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 通过学习全局排序实现高效模型压缩

    该论文提出了一种新的卷积神经网络滤波器裁剪算法，名为 LeGR，通过产生一组具有不同精度和延迟权衡的卷积神经网络来代替产生一个具有预定义延迟约束的卷积神经网络，且相比于之前的方法，LeGR 可以在保持性能的情况下快 2-3 倍。

    Apr, 2019

  • ELRT: 高效低秩训练用于紧凑卷积神经网络

    通过识别适当的低秩格式和性能改进策略，本文提出了 ELRT，一种高准确性、高紧凑性、低秩 CNN 模型的高效低秩训练解决方案。

    Jan, 2024

  • 滤波器共享：用于体卷积参数的高效学习

    本文介绍了一种在训练期间利用卷积神经网络（CNNs）中学习到的滤波器的显着冗余的方法，通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器，从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割，证明了该方法只需要少量训练例子即可获得良好的结果。

    Dec, 2016

  • 重新思考 Inception 架构在计算机视觉中的应用

    本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

    Dec, 2015

  • 协调滤波器以提高深度神经网络的速度

    本文提出 Force Regularization 方法，利用引力作用来协调更多的权重信息到低秩空间中，从而使得标准的低秩逼近方法可以使用更少的基础滤波器进行滤波，加快 DNN 速度，该方法在 ResNet，AlexNet 和 GoogLeNet 上进行了综合评估，在现代 GPU 上获得了 2 倍的加速效果而没有损失精度，获得了 4.05 倍的加速比，可以与最先进的稀疏加速方法集成。

    Mar, 2017