插件调整适用于预训练语言模型中；本研究基于稀疏适配器通过带放大系数的参数情况，实现了大的模型容量；通过使用 SNIP 方法和适当的系数，稀疏适配器可以始终优于对应的常规适配器，并且大稀疏设置可以获得进一步的性能提升，甚至可以大幅超过完全微调的性能。

Oct, 2022

用于资源受限设备的大型语言模型结构剪枝方法，在多层结构的基础上，通过自适应建模和融合估计结果实现了对每个子结构的重要性的自适应调整，实验结果表明在主流数据集上相比最先进的方法，平均准确率提高了 1.1％，1.02％，2.0％和 1.2％。

Mar, 2024

大型语言模型（LLM）可以通过从静态预训练语料库中提取信息来完成知识密集型任务。我们介绍了一种名为 AdapterSwap 的训练和推理方案，它将数据集中的知识组织成一组低秩适配器，并在推理过程中动态组合，以解决在不断演变的数据需求背景下既满足新数据需求又不忘记旧信息的问题。我们的实验证明了 AdapterSwap 在支持高效的持续学习的同时，还能使组织对数据访问和删除拥有细粒度的控制。

Apr, 2024

通过研究训练模块的热带特征，我们提出了一种适配器修剪方法，将其作为一个优化问题来修剪适配器层的参数，以便在不改变底层热带超曲面方向的同时识别出更相关的参数。我们在五个自然语言处理数据集上的实验证明，热带几何在与基于幅度的基线相比时更容易识别出需要修剪的参数，而综合方法在各个任务中表现最佳。

Oct, 2023

本文提出了一种新的模型适应策略 —— 剪枝适应，将神经模型预先训练的连接进行修剪以优化目标任务的性能，在剩余的连接中保留原有权重；我们将剪枝适应表述为具有可区分损失的优化问题，并提出了一种有效的算法来修剪模型。结果表明，在与微调完整模型相比产生类似性能的情况下，我们的方法可以剪枝 BERT 高达 50％的权重。

May, 2021

通过自适应修剪和调整参数，APT 可以提高语言模型的训练和推理效率，同时保持高性能。

Jan, 2024

本文提出了一种名为 AdapterDrop 的方法，使得从 Transformer 层中移除适配器可以动态地减少多任务推理的计算开销，且可以在保持整体性能的同时提高推理效率。

Oct, 2020

本文提出了一种基于结构化剪枝的适配器网络结构，它使用微小参数集和结构化剪枝来加速和专门针对计算机视觉任务进行网络适配，相比于 fine-tuning 和传统剪枝方法，这种方法在减少参数的同时提升了模型准确性。

Nov, 2022

该研究通过结构化剪枝方法，以低秩分解参数化权重矩阵并在训练过程中自适应地移除秩 1 分量，提高了大型语言模型的压缩效果和训练 / 推理速度，并展示了该方法可应用于 BERT 模型的下游 fine-tuning 分类。

Oct, 2019

使用预训练语言模型（PLMs）的广泛内存占用可阻碍其在内存受限环境（如云环境或设备上）的部署。本文提出了一种简单而有效的方法来减小嵌入矩阵的内存占用，从而在保持下游任务性能的同时更有效地利用计算资源。

Sep, 2023