本研究提出基于一阶信息的Static Model Pruning方法，该方法不需要微调即可压缩Pre-trained Language Models(PLMs)，并在各种稀疏水平下展现出显著的性能优势和更高的参数效率。
Oct, 2022
本文提出了一种嘈杂训练机制PAT（根据敏感性的扰动），通过让一些不敏感的参数添加嘈杂值，以激活他们的下游任务贡献，从而提高预训练语言模型（PLMs）的微调性能，并在GLUE基准测试中进行了广泛的实验，证明了该方法的有效性。
提出一种名为LLM-Pruner的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要50K数据，在3小时内就能通过调整技术（LoRA）有效地恢复性能。
May, 2023
本文介绍了一种名为Wanda的裁剪方法，旨在在无需微调或权重更新的情况下诱导预训练LLMs的稀疏性，并在LLaMA上进行全面评估，实验证明Wanda在各种语言基准测试中显著优于基线剪枝方案，并与涉及大量权重更新的最近方法竞争优势。
Jun, 2023
预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda和SparseGPT。
Nov, 2023
通过自适应修剪和调整参数，APT 可以提高语言模型的训练和推理效率，同时保持高性能。
Jan, 2024
大型语言模型(Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调(sparse fine-tuning)的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像LLaMA 2 7B和13B这样的最先进的LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如LoRA表现更好，并且在运行时间上可比较。
介绍了一种基于稀疏保持参数高效微调的方法，通过轻量级可学习的列和行矩阵对稀疏大语言模型的权重进行优化，保持修剪过的预训练模型的结构和稀疏性，显著提升了稀疏大语言模型的性能。
May, 2024
在大型语言模型中，考虑到模型权重的扰动效应，我们通过优化分析和Moreau包络来提出了一种名为MoreauPruner的结构剪枝方法，能够稳定地对模型进行剪枝，并成功地与其他几种剪枝方法进行了比较。
Jun, 2024
基于优化的结构剪枝方法通过在概率空间中学习剪枝掩码，通过前向传递和策略梯度估计器进行高效优化，实现对大型语言模型的剪枝，并在复杂性和效果方面超越现有方法。