本文探讨在资源受限环境下，通过模型剪枝来压缩神经网络模型的方法，提出了一种简单、直接、易于应用的逐渐剪枝技术，并在多个模型 / 数据集上进行了比较，发现大型稀疏模型在保持较高精度的同时可减少 10 倍的参数数量。

Oct, 2017

通过矩阵稀疏化的过程，我们提出了适用于神经网络剪枝的矩阵稀疏化算法，以保留关键神经权重，从而为神经网络剪枝提供一个统一的理论基础，并提高了深度神经网络的可解释性。

Jul, 2023

该研究系统地调查和表征神经网络剪枝在计算机视觉中引起偏差的现象，提出基于未压缩模型的易于使用的标准，以确定裁剪是否会增加偏差，并确定在压缩后最容易受到偏差预测影响的样本。

Apr, 2023

本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。

Oct, 2018

该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

Jan, 2023

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

在嵌入式环境中，卷积神经网络因其过多的权重存储和算术运算而未能得到广泛应用，为解决这一问题，本文提出了一种新的修剪方案，以反映加速器架构，通过此方案，性能得到了大幅提升，并成功应用于 AlexNet，VGG16，ResNet，MobileNet 等多种网络模型。

Apr, 2018

我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

本研究提出了一种基于预算限制的深度卷积神经网络修剪框架，并利用学习掩码层、创新的预算目标函数以及知识蒸馏等技术进行修剪，实验结果表明，使用我们的方法修剪后的 CNNs 比现有方法更准确、计算更少，同时即使极度剪枝也不影响分类准确度，具有很大的实用价值。

Nov, 2018

本文探讨神经网络剪枝问题，在对历史文献进行回顾及常见假设进行分析后，提出了一种新型的神经元全剪枝方法，得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外，还发现剪去 40-70% 的神经元实际上对学习表示形式并没有太大的影响。

Jan, 2017