连通性的重要性：基于有效稀疏度的神经网络剪枝
本文探讨在资源受限环境下，通过模型剪枝来压缩神经网络模型的方法，提出了一种简单、直接、易于应用的逐渐剪枝技术，并在多个模型/数据集上进行了比较，发现大型稀疏模型在保持较高精度的同时可减少10倍的参数数量。
Oct, 2017
我们提出了PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在GPU加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本40％和训练时间39％的效果。
Jan, 2019
我们提出了一种不需要训练数据也能够在初始阶段识别高度稀疏的可训练子网络的剪枝算法，该算法基于神经突触流动原理并叫做迭代神经突触流剪枝算法（SynFlow），在多种模型、数据集和稀疏约束条件下，表现出和现有最先进的基于梯度的剪枝算法相当或更好的结果，成功挑战了基于训练数据来定量判断哪些突触重要的传统范式。
Jun, 2020
本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。
Jan, 2021
本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。
Feb, 2022
本研究提出网络剪枝空间的概念，探讨子网络结构在不同剪枝范围内的最小精度损失并证明了在某个剪枝范围内存在最佳的 FLOPs-to-parameter-bucket 比率，通过实验结果表明，我们找到的子网络在合理的 FLOPs 下优于现有最先进的剪枝方法。
Apr, 2023
本文研究了深度神经网络的过度参数化问题，提出了一种全局一次性网络剪枝算法，并通过计算高维几何中的正交宽度来确定剪枝比率的相变点，该值等于基于$l_1$正则化损失函数的某个凸体的平方高斯宽度除以参数的原始维度。
Jun, 2023
我们通过对一个我们创建的名为Cubist Spiral的合成数据集进行了一系列485,838次的实验，研究了现有的剪枝算法在压缩大规模模型时回复最稀疏模型的有效性，并通过一种新颖的组合搜索算法发现在性能上存在明显差距。我们认为这种差距是因为现有的剪枝算法在过度参数化下的不良行为、在网络中引入不连通路径的倾向以及在给定最佳宽度和初始化的情况下倾向于陷入次优解的性质所致。鉴于我们研究中所使用的网络架构和数据集的简单性，这种差距令人担忧。我们希望我们的研究能够鼓励进一步对追求真正网络稀疏性的新型剪枝技术进行研究。
Jul, 2024