本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

Jan, 2022

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

Oct, 2019

通过开发深度神经网络中的混合策略，并将其形式化为博弈论的最小值零和博弈，我们提出了随机激活修剪（Stochastic Activation Pruning，SAP），并证明它能够提高深度学习系统对抗性攻击的鲁棒性。

Mar, 2018

本文研究了网络剪枝策略的扩展，力图在保留网络的鲁棒性的同时设计更紧凑的神经网络，并基于对现有策略的缺陷进行改进，最终在 CIFAR-10 数据集上取得了不俗的成绩。

Jun, 2019

本文介绍了 Sparse SAM 的有效训练方案，通过使用二进制掩码获取稀疏掩码，基于 Fisher 信息和动态稀疏训练提供了两种解决方案，理论上证明了 Sparse SAM 可以以相同的速度收敛，既有潜力加速训练，又可以有效平滑损失地形。

Oct, 2022

AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

本文提出了一种基于结构化剪枝的适配器网络结构，它使用微小参数集和结构化剪枝来加速和专门针对计算机视觉任务进行网络适配，相比于 fine-tuning 和传统剪枝方法，这种方法在减少参数的同时提升了模型准确性。

Nov, 2022

基于稀疏化剪枝的研究中，我们提出了一种增强稀疏化范式的结构化剪枝框架 (STP)，通过自蒸馏的方式维持被剪枝权重的大小并增强保留权重的表现力。此外，为了找到最优的剪枝网络架构，我们采用了多维架构空间和知识蒸馏引导的探索策略，同时使用子网变异扩展技术来减小蒸馏的容量差距。大量实验证明了 STP 的有效性，特别是在极度激进的剪枝情况下，例如在 ImageNet 上对 ResNet-50 进行剪枝，保持 95.11% 的 Top-1 准确率（从 76.15% 减少 85% 的浮点操作）。

Mar, 2024

本文提出了一种新的计划性生长和修剪（GaP）方法，通过重复生长图层子集并在一定训练后将它们修剪回稀疏状态，以减少计算和内存成本，同时保持模型质量。实验结果表明，该方法获得的稀疏模型在各种任务中的性能都优于先前最先进的算法，并且无需预训练密集模型即可获得高质量的结果。

Jun, 2021