- RankAdaptor: 针对结构修剪的层次动态低秩适应性建模
采用 RankAdaptor 的分层动态秩调度方法，有效地微调剪枝的大型语言模型 (LLM)，在不增加训练参数的情况下，进一步减小剪枝模型恢复精度与原始模型之间的性能差距。
- PruningBench: 结构剪枝全面基准
结构修剪已成为生成更高效模型的一种有前景的方法。然而，由于缺乏标准化的基准和度量标准，该领域的进展尚不完全理解。为了填补这一空白，我们提出了第一个全面的基准测试，称为 PruningBench，用于结构修剪。PruningBench 具有以 - 大规模语言模型的优化结构裁剪方法
基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。
- MoreauPruner：针对权重扰动的大型语言模型稳健修剪
在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和 Moreau 包络来提出了一种名为 MoreauPruner 的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。
- 通过神经架构搜索对预训练语言模型进行结构修剪
基于预训练语言模型和神经架构搜索的结构修剪方法，通过多目标策略实现对子网络的灵活压缩，提高模型效率。
- ICLR通过最优输运实现元剪枝
该论文介绍了一种名为 Intra-Fusion 的新方法，通过使用模型融合和最优传输的概念，重新定义了神经网络修剪的程序，实现了更有效的稀疏模型表示，并在不需要资源密集型微调的情况下显著提高了准确性恢复，从而成为神经网络压缩的一种高效且有前 - 通过熵最小化的强化学习修剪卷积滤波器
利用结构剪枝和信息论奖励机制，我们能够在保持准确性的同时降低神经网络架构的浮点运算数，并在减少 5-10 倍的 FLOPS 的同时最小化性能损失。
- DAG-DNNs 函数的表示和分解与结构网络剪枝
通过 DAG-DNN 框架的分解结构，能够将深度神经网络的所有函数分别应用在网络的子结构中，从而实现系统性地结构修剪，进一步得出了基于交错方阵的网络修剪方法。
- 大规模语言模型的结构剪枝 ——LLM-Pruner
提出一种名为 LLM-Pruner 的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩 LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要 50K 数据，在 3 小时内就能通过调整技术（LoRA）有效 - DepGraph: 面向任意结构剪枝
本论文提出了一种名为依赖图的通用自动化结构剪枝方法，可以在各种不同的神经网络结构上实现性能提升。
- Vision Transformers 的统一剪枝框架
该论文提出了一种名为 UP-ViTs 的统一结构修剪框架，可在保持模型一致性的同时，压缩 Vision Transformer 等模型的体积并提高模型的准确性。实验证明，UP-ViTs 在 Object Detection 等任务中取得了不 - 硬件感知延迟削减
通过硬件感知延迟剪枝（HALP）将结构剪枝作为全局资源分配优化问题，同时控制延迟在预定义的预算下最大化准确性。 HALP 使用延迟查找表来跟踪延迟减少潜力，使用全局显着性得分来评估准确度降低，并可以在剪枝期间非常高效地评估这两个指标，使我们 - CVPR基于 Hessian 感知显著性的全局 Vision Transformer 压缩
本研究提出了一种称为 NViT 的基于 Hessian 的全局结构裁剪方法，能够比以往更高效地利用 ViT 模型的参数，使得 NViT-Base 在 ImageNet-1K 数据集上具备了比 DeiT-Base 更高的准确率、更低的 FLO - 加速稀疏神经网络的训练：一种可以证明有效的 N:M 可转换掩码发现方法
本研究提出了一种新的称为掩码多样性的度量方法来降低 DNN 的内存占用，并介绍了一种可同时用于前向和后向传递的新型可转置细粒度稀疏掩码，通过使用最小成本流问题来寻找最优的可转置掩码，并且还提出了一种将无结构稀疏模型转换为 N:M 细粒度块稀 - ICLR使用可微缩不变稀疏度量学习稀疏神经网络的 DeepHoyer
本论文提出了一组可微且尺度不变的模型压缩正则化项 DeepHoyer，通过实验表明在相同的精度水平下，使用 DeepHoyer 压缩神经网络可以得到更加稀疏的模型，可以运用于元素级和结构级剪枝。
- 神经网络剪枝的重要性评估
本文介绍了一种以结构削减神经网络参数为主要内容的新方法，可通过估算神经元对最终损失的贡献并逐步去除小分值的神经元来减少计算、能量和内存传输成本。对于在 ImageNet 上训练的现代网络，我们测量了我们的方法计算的贡献与真实重要性的可靠估计