神经网络剪枝的现状是什么？
现代深度神经网络中，网络压缩已成为一项重要研究方向。本文通过综述现有文献，详细介绍了深度神经网络剪枝的研究方法、剪枝的不同层次以及未来发展方向，并提出了有价值的推荐建议。
Aug, 2023
本文探讨神经网络剪枝问题，在对历史文献进行回顾及常见假设进行分析后，提出了一种新型的神经元全剪枝方法，得出存在许多基于剪枝算法的固有缺陷及为减少计算复杂性而做出的权衡。另外，还发现剪去 40-70% 的神经元实际上对学习表示形式并没有太大的影响。
Jan, 2017
本研究发现，在针对低资源设置中减少深度模型推理成本的网络修剪过程中，训练大模型通常不是获得高效终端模型的必要条件，学到的 “重要” 权重通常对小模型没有用，修剪的架构本身比继承的 “重要” 权重更重要，并且此方法可作为架构搜索范式。本文还比较了 “Lottery Ticket Hypothesis”，发现在最佳学习率下，与随机初始化相比，其 “获胜券” 初始化并未带来提高。
Oct, 2018
本文针对神经网络剪枝技术在高稀疏度领域的应用，提出了新的有效稀疏度概念，重定义了性能评价指标，同时开发了一个成本较低的扩展工具，通过评估各种剪枝算法的绝对和相对性能表现，证明新的评价框架下与基于初始化的剪枝算法相比，随机剪枝仍然是一种可行的方法。
Jul, 2021
本文解释了神经网络剪枝的两个迷团：更大的微调学习率的性能提升效应和继承预训练权重在滤波剪枝中没有价值的论点，并强调了网络可训练性在剪枝中的核心作用。同时提出关于如何校准剪枝基准的具体建议。
Jan, 2023
神经网络稀疏化通过减少模型大小、计算复杂度和内存占用的同时保持竞争性能，成为在资源受限设备上部署的有效技术。本研究开发了适应神经网络稀疏化的全程训练流程，利用非标准模型参数初始化、预修剪训练方法和后修剪训练优化等技术，实现了显著提升于当前最先进的神经网络稀疏化方法的效果。
Dec, 2023
我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。
Nov, 2023
结构修剪已成为生成更高效模型的一种有前景的方法。然而，由于缺乏标准化的基准和度量标准，该领域的进展尚不完全理解。为了填补这一空白，我们提出了第一个全面的基准测试，称为 PruningBench，用于结构修剪。PruningBench 具有以下三个特点：1）PruningBench 采用一个统一和一致的框架，评估各种结构修剪技术的有效性；2）PruningBench 系统地评估了 16 种现有的修剪方法，涵盖了各种模型（如 CNN 和 ViTs）和任务（如分类和检测）；3）PruningBench 提供了易于实现的接口，以促进未来修剪方法的实施，并使后续的研究人员将他们的工作纳入我们的排行榜。我们提供了一个在线修剪平台，用于定制修剪任务并重现本文中的所有结果。代码将公开发布。
Jun, 2024
我们提出了一种利用贝叶斯推断的剪枝神经网络的新方法，该方法可以无缝地融入训练过程，并通过计算贝叶斯因子来指导迭代剪枝，从而实现所需的稀疏度，并保持竞争性的准确性。
Aug, 2023