本文探讨在资源受限环境下，通过模型剪枝来压缩神经网络模型的方法，提出了一种简单、直接、易于应用的逐渐剪枝技术，并在多个模型/数据集上进行了比较，发现大型稀疏模型在保持较高精度的同时可减少10倍的参数数量。

Oct, 2017

本文提出了一种基于修剪框架的深度神经网络压缩方法，实现了自动确定各个层稀疏度的功能，并通过在两种DNN架构上进行图像分类任务的实验验证了该方法的有效性。

Jan, 2019

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。

Feb, 2022

本文研究N:M稀疏性训练的不同方法，并提出了两种新的基于衰减的修剪方法，即“修剪掩码衰减”和“稀疏结构衰减”。研究表明，这些提出的方法在保持与非结构化稀疏性可比的模型精度同时，增加的总训练计算量（FLOPs）相对较小。

Sep, 2022

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。

Aug, 2023

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小GPU内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023

基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架(STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异扩展技术来减小蒸馏的容量差距。大量实验证明了STP的有效性，特别是在极度激进的剪枝情况下，例如在ImageNet上对ResNet-50进行剪枝，保持95.11%的Top-1准确率（从76.15%减少85%的浮点操作）。

Mar, 2024

深度神经网络的模型压缩是提高计算效率和减小内存占用的必要手段。本文通过数学证明和实证研究，发现在计算操作中先应用稀疏化再进行量化是最优的操作次序，以最小化计算误差。同时，稀疏化和量化的相互作用会对模型精度造成重要的影响，其中量化误差在这一降低中起到主导作用。研究结果对于在资源有限的计算平台上高效部署大型模型和降低计算成本非常有价值，为应用这些压缩方法以最大化效果而不损害准确性提供了指导。

May, 2024