本研究提出了一种基于 GAN 的方法，通过软屏蔽对过滤器和其他结构进行联合裁剪，并在快速迭代阈值算法（FISTA）的帮助下获得更快速和可靠的裁剪。实验证明该方法在不同数据集上都可以获得显著的性能提升。
Mar, 2019
本文提出了 LayerPrune 框架，相较于传统基于 filter 的剪枝方法，LayerPrune 基于不同的剪枝指标实现了更高的延迟降低，并使用相同的 filter 重要性判定剪枝最不重要的层，较好地平衡了准确率和删除率。
Jul, 2020
本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现
Apr, 2021
本文介绍一种基于辅助门控机制的结构化网络剪枝方法，通过给主干网中的块分配重要性标记，并提出了一种块级剪枝的投票策略来解决移动设备上使用卷积神经网络时遇到的成本问题。通过知识蒸馏的三阶段训练计划，提高了模型性能，实现了更好的压缩率。实验证明该方法在分类任务中可以取得最先进的压缩性能。此外，通过提供预训练模型，我们的方法可以与其他剪枝方法协同集成，从而实现比未剪枝模型更优异的性能，并减少了超过 93％的浮点运算。
May, 2022
我们提出了一种新的深度修剪方法，通过引入新颖的块修剪策略和渐进训练方法，以及将修剪方法扩展到视觉转换器模型，实验证明我们的方法在各种修剪配置下始终优于现有的深度修剪方法。
Jan, 2024
本文提出了一种名为动态结构修剪的结构修剪方法，基于组梯度学习实现了细粒度修剪，并在训练深度神经网络时优化修剪粒度，实验结果表明在 ImageNet 数据集上，动态结构修剪对 ResNet50 模型进行修剪可将 FLOPs 降低 71.85% 且不影响模型准确率，并在 GPU 加速方面优于通道修剪。
Mar, 2023
深度学习在通信系统中的成功应用使得深度神经网络成为信号分类的首选方法。然而，这些模型通常具有高计算复杂度和大的模型尺寸，这阻碍了它们在通信系统中的实际部署。为解决这个挑战，我们提出了一种新型的层剪枝方法，通过将模型分解成几个连续的块，每个块包含具有相似语义的连续层，然后根据层的贡献确定每个块内需要保留的层，最后重新组装剪枝后的块并对紧凑模型进行微调。对五个数据集进行的广泛实验证明了我们的方法在各种最新基准方法（包括层剪枝和通道剪枝方法）上的高效性和有效性。
Jun, 2024
GAN 压缩方法从新的角度出发，通过在生成样本周围的局部邻域中保持原始模型的密度结构，提供了一种新的剪枝目标来规范剪枝模型，同时开发了一种协同剪枝方案，有效地在剪枝过程中保持生成器和判别器之间的平衡，从而展示出更稳定的剪枝动态。
Dec, 2023
本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。
May, 2017
在本研究中，我们介绍了 EGP，这是一种创新的基于熵引导的剪枝算法，旨在在保持性能的同时减小深度神经网络的规模。EGP 的关键重点是优先剪枝熵值较低的层的连接，从而最终完全移除它们。通过对 ResNet-18 和 Swin-T 等流行模型进行广泛的实验，我们的发现表明 EGP 能够有效压缩深度神经网络，并且保持具有竞争力的性能水平。我们的结果不仅揭示了非结构化剪枝的优势背后的机制，还为进一步研究熵值、剪枝技术和深度学习性能之间的复杂关系铺平了道路。EGP 算法及其洞见对于推动网络压缩和优化领域具有巨大潜力。EGP 的源代码已开源发布。
Aug, 2023