本文介绍了一种名为Wanda的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练LLMs的稀疏性，并在LLaMA上进行全面评估，实验证明Wanda在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。

Jun, 2023

利用结构修剪技术从预训练的大型语言模型生成更小但功能强大的语言模型。这项工作通过展示Sheared-LLaMA系列，在仅使用相当于从头训练这些模型所需计算量的3％的情况下，将LLaMA2-7B模型修剪为1.3B和2.7B参数，优于等规模的开源模型，并提供了使用结构修剪来构建更小型语言模型更具成本效益的佐证。

Oct, 2023

预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda和SparseGPT。

Nov, 2023

通过深度剪枝方法，我们展示出其在零样本任务性能方面可以与最近的宽度剪枝方法竞争，并且在内存受限情况下的推理速度提升尤为明显，希望这项工作能够帮助在本地和边缘设备上部署大型语言模型。

Feb, 2024

用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了1.1％，1.02％，2.0％和1.2％。

Mar, 2024

在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和Moreau包络来提出了一种名为MoreauPruner的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。

Jun, 2024

基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。

Jun, 2024

我们提出了一种名为BlockPruner的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner在各种下游任务中实现了更精确和有效的修剪。

Jun, 2024

本文提出了一种Memory-effIcieNt结构化剪枝方法(MINI-LLM)，通过整合大小、激活和梯度等多个指标，利用特征图敏感性进行剪枝，从而有效地降低了GPU内存的占用，并在多个下游任务上展现了优异的性能。

Jul, 2024

该研究针对大型语言模型在资源有限设备上部署所面临的高内存和计算成本问题，提出了一种新的无维度结构剪枝方法。此方法通过消除嵌入维度的结构依赖，提升了模型的灵活性，并在多种大型语言模型上的实验结果表明，其性能优于现有的最先进技术，验证了结构剪枝可以达到与半结构剪枝相似的准确率。

Oct, 2024