通过使用延迟协同损失函数来指导网络修剪，我们提出了一个全局重要性评分 SP-LAMP，并利用组背包求解器在延迟约束下最大化 SP-LAMP 得分，取得了优于传统方法的结果，实验结果表明，我们的算法在确保准确性和 FLOPs 的情况下，达到了比替代方法更低的延迟。
May, 2023
本文提出了一种新颖的动态裁剪方法，称之为基于数量级注意力的动态裁剪 (MAP) 方法，该方法在前向和反向路径中均运用了权重的重要性来动态探索稀疏模型结构，可以在更高效的情况下实现密集模型的性能，并且在 CIFAR-10/100 和 ImageNet 数据集上的表现比以前的裁剪方法更好。
Jun, 2023
该研究提出了一种名为 ProbMask 的基于概率空间的有效网络稀疏化方法，通过使用概率作为全局标准来度量权重重要性。 通过我们的约束，可以自动学习权重冗余度，避免为不同层调整剪枝率的问题，表现优异在 CIFAR-10/100 和 ImageNet 等数据集上，尤其是在高剪枝率情况下超过现有的最先进方法。
May, 2021
该论文提出的修剪策略通过从更全局的角度运作，基于顶层训练信号逐层传播全局信号，从而在相同稀疏度水平下获得更高的性能和更大的加速，避免了权重基础剪枝技术中的内存访问不规则性。
Aug, 2021
本研究提出了一种名为预见性剪枝的简单剪枝方法，通过将单层优化扩展到多层优化，预见性剪枝在各种网络中表现良好，特别是在高稀疏度情况下，优于基于幅度的剪枝。
Feb, 2020
本文介绍了一种名为 Wanda 的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练 LLMs 的稀疏性，并在 LLaMA 上进行全面评估，实验证明 Wanda 在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。
通过 Efficient Coarse-to-Fine Layer-Wise Pruning 方法，LVLMs 的大规模视觉 - 语言模型能够以两阶段粗细权重修剪的方式进行模型压缩，从而在高稀疏度条件下取得显著性能改进。
Oct, 2023
本文提出一种基于移动修剪的权重修剪方法，相比于纯监督学习中使用的幅度修剪方法，更适用于预训练模型微调，实验证明在高稀疏度下，此方法对预训练语言模型的剪枝效果更好，结合蒸馏技术最大程度地减小模型参数，同时保持模型准确率。
May, 2020
预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda 和 SparseGPT。
Nov, 2023
本文提出一种基于迭代幅值修剪 (Iterative Magnitude Pruning, IMP) 算法的改进方法 Sparse Weight Averaging with Multiple Particles (SWAMP)，通过同时训练多个稀疏模型，利用加权平均的方式获得更好的泛化表现，该方法相比于现有基线方法在不同稀疏度下表现更优。