本文探讨神经网络剪枝问题，在对历史文献进行回顾及常见假设进行分析后，提出了一种新型的神经元全剪枝方法，得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外，还发现剪去40-70%的神经元实际上对学习表示形式并没有太大的影响。

Jan, 2017

本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

May, 2017

本文探讨在资源受限环境下，通过模型剪枝来压缩神经网络模型的方法，提出了一种简单、直接、易于应用的逐渐剪枝技术，并在多个模型/数据集上进行了比较，发现大型稀疏模型在保持较高精度的同时可减少10倍的参数数量。

Oct, 2017

我们提出了PruneTrain，这是一种成本高效的机制，可逐步减少训练期间的计算成本，通过使用结构化组套骨骼正则化方法和其他重新配置技术，可以在GPU加速器上高效处理缩小了的卷积神经网络模型，从而实现减少计算成本40％和训练时间39％的效果。

Jan, 2019

对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了ShrinkBench框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。

Mar, 2020

本论文研究在 NLP 领域中，对预训练的Transformers 模型采取稀疏剪枝 (sparse pruning)技术，相较于对其通道与层数的压缩，稀疏剪枝的效果更为显著。通过基于 GLUE 数据集的实验比较，证明本论文所采用的知识感知的稀疏剪枝方法可以实现20倍的参数/FLOPs压缩并且不会明显损失模型的性能。

Apr, 2021

提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。

Apr, 2022

本文提出了 PQ Index(PQI) 作为衡量深度神经网络可压缩性的量化指标，并基于此开发了一种基于稀疏性信息的自适应裁剪算法 (SAP)，该算法在压缩效率和稳健性方面优于遗传算法等迭代型裁剪算法。

Feb, 2023

本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务DNN相比，DNN多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

Apr, 2023

本研究解决了现有对抗性剪枝方法难以比较和分析的问题，通过对当前方法的调查和提出基于修剪流程和具体技术的新分类法来提升理解。此外，研究提出了一个新的基准来评估这些方法，揭示了表现最佳的对抗性剪枝技术的共同特征及其面临的普遍问题。

Sep, 2024