优秀子网络存在的证明：基于贪婪前向选择的剪枝

ICMLMar, 2020

优秀子网络存在的证明：基于贪婪前向选择的剪枝

Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection

Mao Ye, Chengyue Gong, Lizhen Nie, Denny Zhou, Adam Klivans...

TL;DR我们通过提出一种基于贪心策略的网络修剪方法来证明神经网络修剪的有效性，理论上能够通过在足够大的预先训练的网络上应用贪心选择策略找到具有更低损失的小型子网络，并在 ImageNet 上实现了更好的结果，实践中利用修剪的子网络可以从大型模型中获得信息的优势。

Abstract

Recent empirical works show that large deep neural networks are often highly redundant and one can find much smaller subnetworks without a significant drop of accuracy. However, most existing methods of

network pruning deep neural networks subnetworks greedy selection approach compact neural architectures

发现论文，激发创造

网络剪枝空间

本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。

Apr, 2023

梯度下降剪枝神经网络

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

子空间节点修剪

使用节点剪枝和子空间形成技术，该论文提出了可以在保持网络性能最大化的同时去除计算单元来提高深度网络的效率，通过重新组织网络和使用正交子空间来选择合适的剪枝比例，并在 VGG 和残差网络中验证了该方法的优越性。

May, 2024

利用元梯度在初始化时寻找可训练权重的潜在剪枝

本文提出了一种名为 Prospect Pruning 的修剪方法，它通过 meta-gradients 来确定哪些参数需要被修剪，从而实现在同时保留神经网络准确性的前提下，消耗更少的计算资源并达到最先进的修剪表现。

Feb, 2022

保持梯度流的情况下在训练之前选择获胜的票数

该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

Feb, 2020

从头开始剪枝

本文提出了一种新颖的网络修剪流程，允许从随机初始化的权重开始修剪，加速了传统剪枝方法的预训练负担，同时在相同的计算预算下达到了类似甚至更高的准确性。

Sep, 2019

紧凑且稳健的深度神经网络

本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

Jun, 2019

随机初始化子网络与迭代权重回收

该研究介绍了一种名为 Iterative Weight Recycling 的算法，该算法可在初始化的神经网络中识别重要权重的子集以供重复使用，可以提高模型稀疏度，此外还支持了多奖励彩票票据假设的互补结果，即高精度，随机初始化的子网络产生多样的掩码，展现了高度的变异性。

Mar, 2023

连通性的重要性：基于有效稀疏度的神经网络剪枝

本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。

Jul, 2021

何时修剪？一种早期结构修剪策略

本研究提出了一种早期修剪指标 (EPI)，该指标结合了神经元重要性排名和子网络结构相似性来识别具有稳定结构的重要子网络，使修剪可以在尽可能早的训练阶段进行，并取得了与基于 oracle 的网格搜索相同的效果，同时提供了一个新的精度 - 效率边界，获得了 1.4％的 top-1 分类精度提升并减少了 2.4 倍的 GPU 训练成本。

Oct, 2021