具有粗糙剪枝的紧凑卷积神经网络

Oct, 2016

具有粗糙剪枝的紧凑卷积神经网络

Compact Deep Convolutional Neural Networks With Coarse Pruning

Sajid Anwar, Wonyong Sung

TL;DR通过对特征图和卷积核级别进行修剪，可以减少深度卷积神经网络的计算复杂性，而且在CIFAR-10数据集上的实验证明，在保持基线网络误分类率不到1%的情况下，可以在卷积层中引入超过85%的稀疏性。

Abstract

The learning capability of a neural network improves with increasing depth at higher computational costs. Wider layers with dense kernel connectivity patterns furhter increase this cost and may hinder real-time inference. We propose feature map and kernel level pruning for reducing the

发现论文，激发创造

深度卷积神经网络的结构化剪枝

使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

Dec, 2015

高效卷积神经网络中的滤波器裁剪

本文提出了一种基于滤波器减少方法的 CNNs 加速方法，它不依赖稀疏卷积库，通过移除对输出准确性影响较小的整个滤波器及其连接的特征图，大大降低了计算成本，在 CIFAR10 数据集上可以使 VGG-16 推理时间减少 34%、ResNet-110 推理时间减少 38%，并且通过重新训练网络可以接近原始准确性。

Aug, 2016

剪枝卷积神经网络以实现高效推理

提出了一种新的神经网络卷积核剪枝方法，通过Taylor扩展来近似剪枝参数变化引起的代价函数的改变，并结合反向传播的微调来保持剪枝网络的良好泛化性能，该方法在细粒度分类任务中表现出优异的性能。

Nov, 2016

深度卷积神经网络的可塑性：从随机修剪中恢复

本文研究深度卷积神经网络滤波器修剪方法，通过检验实验证明，我们使用随机滤波器修剪策略能够获得接近最先进修剪方法的性能，同时在图像分类和目标检测中均能实现显著的加速。

Jan, 2018

利用冗余特征剪枝构建高效ConvNets

该论文提出了一种通过消除冗余特征（或滤波器）来修剪深度和/或宽度卷积神经网络模型的高效技术，其依据特征空间中的相对余弦距离区分它们和它们的连接特征映射并优化精度和推理性能，但优化后的算法能将VGG-16的推理成本降低40％、ResNet-56的推理成本降低27％、ResNet-110的推理成本减少39％。

Feb, 2018

RePr: 卷积滤波器的改进训练

研究表明，通过暂时修剪和恢复模型的子集滤波器，反复进行该过程，可以减少所学习特征的重叠，从而提高了模型的泛化能力；而在这种情况下，现有的模型修剪标准并不是选择修剪滤波器的最优策略，因此引入了滤波器之间内部正交性作为排名标准。这种方法适用于各种类型的卷积神经网络，能够提高各种任务的性能，尤其是小型网络的性能。

Nov, 2018

通过生成对抗学习实现最优结构化CNN剪枝

本研究提出了一种基于GAN的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。

Mar, 2019

深度神经网络的方向修剪

提出一种新的方向剪枝方法，用于在训练损失的平稳区域内或接近该区域内寻找稀疏解，证明了该方法在高度稀疏时对ResNet50，VGG16和wide ResNet 28x10等神经网络的同时达到与SGD相同的极小值，并且所找到的极小值不会影响训练损失

Jun, 2020

网络修剪的剪枝感知稀疏正则化

本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。

Jan, 2022

深度神经网络剪枝调查——分类、比较、分析和建议

现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

Aug, 2023