本篇研究提出一种简单的优化方法，只引入三个可训练向量，并将所有层的隐藏状态使用这些向量进行整合，之后将整合后的隐藏状态输入到一个任务特定的线性分类器中进行分类，通过验证原始的隐藏状态确实包含分类任务的有用信息，证明了该优化方案与 P-tuning v2 相比具有时间和参数数量的优势。

Apr, 2022

本文提出一种基于预训练的参数高效迁移学习框架，使用共享的超网络对预训练语言模型进行微调，支持语言和视觉任务，并在多任务学习中具有较好的性能和转移能力。

Mar, 2022

本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

Oct, 2021

本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

May, 2022

本文提出了一种名为 HiFi 的参数高效的微调方法，即只微调与特定任务高度相关的信息丰富且高度相关的注意力头，该方法使用 PageRank 算法搜索显著的注意力头，实验证明 HiFi 方法在 GLUE 基准测试中获得了先进的性能。

May, 2023

通过分析任务头的选择对特征适应的控制，进而影响下游性能，我们发现精细调节一开始的训练准确度和损失，在初始能量的变化对精调后特征的效果有重大影响，最终证明高能量会增加特征的欧几里得和余弦距离，但点积（和精调后特征的范数）会先增加后下降，并提出了一些实际原则来提高下游性能。

Feb, 2023

提出一种保持 prefix-tuning 的有效性和模块化性的鲁棒性前缀调谐方法，通过正确分类的数据作为附加前缀调谐的标准，使用语言模型的层激活来增强鲁棒性，并通过针对每个批次的额外批量级前缀来提高鲁棒性。实验证明，该方法在多个基准测试中执行对抗攻击时，在保持高准确性的前提下，大幅提高了模型的鲁棒性。

Mar, 2022

通过引入 PEL 方法，该研究通过少于 20 个时期的微调，无需额外数据即可适应长尾识别任务，并通过在分类器初始化中采用 CLIP 文本编码器的新颖技术解决了过度拟合问题，从而持续优于之前的最佳方法。

Sep, 2023

通过使用 BERT 来验证，文章研究了当使用大规模未标注文本语料库进行预训练的语言模型进行轻量级有监督微调以学习任务时，微调只在参数空间中引入了轻微的差异，可以通过对预训练参数的某些层的特定数量的条目设置为零来达到对巨大语言模型的精细调节，从而节省了任务特定参数存储和计算成本的开销。

Apr, 2020

最近的研究应用了参数高效微调技术（PEFTs）来有效缩小预训练和下游任务之间的性能差距。该研究发现，对于与预训练一致的下游微调任务，数据规模不再影响性能，而可微参数规模的影响并不单调，这种观察可指导 PEFTs 的训练策略选择。

Mar, 2024