我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

Nov, 2023

本文提出了 Continuous Growth and Pruning (CGaP) 方法，旨在在训练模型期间最小化冗余并从一开始便避免引入冗余，通过持续增长和修剪过程获取紧凑和准确的模型。根据实验结果，在代表性数据集和 DNN 结构上，CGaP 的效果优于以前的仅修剪预定义结构的方法，达到了参数减少 78.9％和 85.8％，FLOPs（浮点计算数）减少 53.2％和 74.2％。

May, 2019

本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

Jul, 2022

为了解决剔除被感染深度神经网络中的后门相关神经元的问题，在现有方法的基础上，我们提出了优化神经元剪枝（ONP）方法，结合图神经网络（GNN）和强化学习（RL），通过学习图嵌入和找到适当的剪枝策略来修复后门模型。实验证明，ONP 可以在几乎没有性能降级的情况下有效剪枝由一组后门攻击植入的后门神经元，从而实现了后门缓解领域的最新最佳性能。

May, 2024

本文提出了一种新的计划性生长和修剪（GaP）方法，通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态，以减少计算和内存成本，同时保持模型质量。实验结果表明，该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法，并且无需预训练密集模型即可获得高质量的结果。

Jun, 2021

本研究提出了利用网络压缩的方法来解决深度学习模型在资源有限的系统中的应用难题，并利用迭代剪枝技术使压缩后的网络更加高效和精确。实验证明该方法在与现有方法进行比较时在相同剪枝等级下表现更佳。

Feb, 2019

本文提出了一种发育可塑性启发的自适应剪枝方法，可以动态优化神经网络结构，使其学习效率和速度得到持续和显著的提高，尤其是对于神经形态学数据集的脉冲神经网络而言。

Nov, 2022

我们提出了一种利用贝叶斯推断的剪枝神经网络的新方法，该方法可以无缝地融入训练过程，并通过计算贝叶斯因子来指导迭代剪枝，从而实现所需的稀疏度，并保持竞争性的准确性。

Aug, 2023

本文从因果推理的角度应对神经网络尺寸扩大导致的资源消耗过高的问题，提出一种评分机制来进行神经网络的结构化剪枝和压缩，实现了在各种数据集和模型尺寸下的竞争性表现。

Dec, 2021

本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

May, 2017