利用层级过滤器组提高 CNN 效率的深层网络

May, 2016

利用层级过滤器组提高 CNN 效率的深层网络

Deep Roots: Improving CNN Efficiency with Hierarchical Filter Groups

Yani Ioannou, Duncan Robertson, Roberto Cipolla, Antonio Criminisi

TL;DR通过采用一种新颖的稀疏连接结构，类似于树根，在利用层间滤波器依赖性的稀疏性的基础上，我们提出了一种新的方法来创建计算效率高且紧凑的卷积神经网络（CNN）。我们在 CIFAR10 和 ILSVRC 数据集上训练采用这种方法的 CNN 体系结构，结果表明，与基线架构相比，在较少的计算量情况下能实现类似或更高的准确率和更少的参数数量和浮点运算数。

Abstract

We propose a new method for creating computationally efficient and compact convolutional neural networks (CNNs) using a novel sparse connection structure that resembles a tree root. This allows a significant redu

computational efficiency sparse connection structure convolutional neural networks parameter optimization accuracy

发现论文，激发创造

低秩卷积滤波器在图像分类中训练 CNN 的有效性

本文提出了一种通过使用卷积滤波器的低秩表示来创建计算有效卷积神经网络的新方法，该方法通过学习一组小的基础过滤器从头开始进行训练，使网络有效地初始化连接权重。通过使用该方法，我们在 CIFAR、ILSVRC 和 MIT Places 数据集上训练了几种现有的 CNN 体系结构，并证实其优异的性能。

Nov, 2015

基于滤波器组逼近的极端网络压缩

该论文提出了一种基于滤波器组逼近的新型分解方法，该方法可以显著减少深度卷积神经网络中的冗余，同时保持大部分特征表示，通过在每层中利用滤波器组结构，相比于其他基于低秩分解算法，我们的方法可以在多个图像分类数据集上减少 80% 以上的算术运算量（FLOPs），并减少精度损失，另外，实验证明我们的方法有助于缓解压缩网络的退化现象，从而提高网络的收敛性和性能。

Jul, 2018

卷积神经网络快速实时非重训练稀疏化

本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

Nov, 2018

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

使用稀疏卷积和指导剪枝加速 CNN

本文提出一种同时实现卷积神经网络的规模经济和速度提升的方法，包括一种有效的一般性稀疏 - 稠密矩阵乘法实现以及一种性能模型，可以预测不同层和不同计算机架构的稀疏水平的最佳值，该方法可在包括移动设备和超级计算机在内的各种处理器上实现 3.1-7.3 倍的卷积速度提升。

Aug, 2016

深度扩展网络：利用图理论构建高效深层网络

本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

Nov, 2017

通过可融合残差卷积块进行深度神经网络的分层剪枝

本文提出了一种基于 ResConv 和 L1 正则的简单的层剪枝方法，该方法在不需要重新训练的情况下，在各种数据集上实现了良好的压缩和加速表现。

Nov, 2020

渐进式分组法的高效语义分割

本文研究了对于像 ERFNet 这样的实时语义分割模型，通过采用分组卷积、混洗卷积、深度可分离卷积等技术来优化 CNN 的内存和运行时间。作者提出了一种新的训练方法和高效的架构设计，使得在 FLOPs 的改善下，在 ERFNet 的基础上提高 8% 的准确率且运行时间达到 5 倍优化。

Jun, 2018

通过结构化连续稀疏化增加深度网络的效率

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

面向卷积神经网络的广义熵稀疏化

卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

Apr, 2024