通过分层最优脑外科医生学习剪枝深度神经网络

May, 2017

通过分层最优脑外科医生学习剪枝深度神经网络

Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon

Xin Dong, Shangyu Chen, Sinno Jialin Pan

TL;DR本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

Abstract

How to develop slim and accurate deep neural networks has become crucial for real- world applications, especially for those employed in embedded systems. Though previous work along this research line has shown some promising results, most existing methods either fail to significantly c

发现论文，激发创造

深度神经网络的数据无关参数剪枝

本研究探讨在已训练的神经网络模型中修剪神经元的问题并提出了一种系统性的方式去除冗余的相似神经元，并且通过在 MNIST 训练网络中修剪密集连接层，达到 85％的总参数去除率，在 AlexNet 上达到35％去除率，并且没有明显影响其性能。

Jul, 2015

网络修剪：一种面向高效深度结构的数据驱动神经元裁剪方法

该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

Jul, 2016

PruneTrain: 动态稀疏模型重组快速神经网络训练

我们提出了PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在GPU加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本40％和训练时间39％的效果。

Jan, 2019

初始化时的鲁棒剪枝

深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

Feb, 2020

PruneNet: 全局重要性通道剪枝

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪ResNet-50等深度神经网络，实现了与现有方法相同的FLOP降低率，同时提高了0.98％的准确度，并优于其他深度神经网络如ResNet-34和ResNet-18。

May, 2020

高效保留模型准确性的自动神经网络剪枝

本文提出一种自动修剪方法来减少神经网络中的FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的FLOPs。

Nov, 2021

深度神经网络剪枝调查——分类、比较、分析和建议

现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

Aug, 2023

深度神经网络中适应层自适应权重剪枝的高效联合优化

我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

Aug, 2023

结构剪枝：任何架构，任何框架，任何时间

结构化修剪技术(SPA)是一种适用于不同架构、框架和修剪标准的多功能架构修剪框架，通过使用标准化计算图和ONNX表示法来实现对神经网络的修剪，并通过分组级别的重要性估计方法来进行修剪。在对比实验中，SPA在不同架构、流行框架和不同修剪时间上表现出与现有技术相当的修剪性能。OBSPA是一种无需微调或校准数据即可实现最先进的修剪结果的算法。

Mar, 2024

深度神经网络的并发训练和层剪枝

我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比，层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构，在非线性网络部分周围使用剩余连接，使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理，在神经网络权重上使用高斯规模混合先验，从而在训练和推理过程中实现大幅成本节省。该算法在MNIST、CIFAR-10和ImageNet数据集以及常见的LeNet、VGG16和ResNet架构上进行了评估，模拟实验结果表明，由于并行训练和剪枝，我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。

Jun, 2024