预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

本文提出了一种内存高效的微调方法（MEFT），通过在预训练语言模型中插入适配器以保留 PLM 的起点并使其可逆，同时将激活内存降低到 84％的完全微调水平，并在 GLUE 基准测试中实现与完全微调相同的分数。

Jun, 2023

参数高效微调方法在适应多样化任务的大规模预训练语言模型中变得越来越重要，通过在资源有限的语言机器翻译中提高翻译准确性来实现适应性和计算效率的平衡。通过使用 SacréBLEU 评分，我们进行了具备不同资源和域的全面实证实验，评估了共计 15 种架构的 8 种参数高效微调方法的性能。结果表明，6 种参数高效微调架构在域内和域外测试中均超过了基准线，其中 Houlsby+Inversion 适配器表现最佳，验证了参数高效微调方法的有效性。

Apr, 2024

通过将软提示分解为较短的软提示和一对低秩矩阵并使用两个不同的学习率进行优化，我们提出了分解提示调优（DePT）。通过在 23 个自然语言处理（NLP）和视觉语言（VL）任务上的广泛实验，我们证明了 DePT 在某些情景下优于最先进的参数高效微调方法，包括完全微调基线。此外，我们的进一步研究揭示了 DePT 在模型规模增大时更加高效，并展示了 DePT 在少样本学习设置和各种模型架构和规模中的适应性。

Sep, 2023

研究调查预训练语言模型在低资源文本分类任务中适配器模块和主要微调之间的相互作用，通过减少标注复杂性的主动学习算法显示出可行性，强调了主动学习与参数高效微调和一致性微调的相互潜力，为高效有效微调的提高打下了基础。

May, 2023

Light-PEFT framework enables efficient fine-tuning by pruning redundant parameters in the foundation model and PEFT modules, resulting in improved training and inference speed, reduced memory usage, and comparable performance to standard PEFT.

Jun, 2024

本文提出了一种任务不可知的生成稀疏掩码的方法，仅使用预训练参数的振幅信息，可以显著提高性能和存储效率，并引入了一种新颖的适配器技术，可以直接应用于预训练参数，与全细调速度相同。

May, 2023

引入 X-PEFT，一种新的参数高效微调方法，通过微调极小的紧凑张量，作为二进制掩码来自适应地选择给定适配器，从而解决适配器数量线性增加的问题，相较于传统的适配器微调，在每个配置文件的内存需求减少了 10000 倍，而在 LaMP 和 GLUE 任务中表现出与传统适配器微调相当或超越的效果。

Jan, 2024

基于预训练语言模型 (PLMs) 的联邦学习 (federated learning) 中，引入参数高效微调 (PEFT) 方法，通过奇异值分解 (SVD) 初始化适配器模块的 FeDeRA，在多个任务和数据集上实验，与全参数微调 (FT) 方法相比，FeDeRA 表现出色，训练时间显著缩短。

Apr, 2024

使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

Jun, 2024