本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

Oct, 2021

本文介绍了 Fine-tuning pre-trained models 方法的缺点，提出了采用参数稀疏性进行参数调优的方法，并且通过理论分析表明，这种参数稀疏性会在一定程度上控制稳定性上限，提高泛化能力；同时还提出了一种新的 SAM 方法用于选择可调参数，并通过实验证实了理论分析的正确性。

Nov, 2022

本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调超大规模语言模型。

Mar, 2023

通过细调滤波核元素，我们引入了一个简单的方法来改进现有的微调方法，以提取面向任务的表示，这种方法在区分和生成任务方面优于之前的微调基准。

Mar, 2024

本研究提出了一种新的语言转换微调策略，它在多个转换器层中引入了特定于任务的参数，这些参数是来自单一可训练向量的固定随机投影，使微调具有明显更少的参数，从而实现了 “低资源应用程序及带隐私约束条件训练” 条件下的有效性和性能。

May, 2023

通过在活动学习（AL）框架内应用参数高效微调方法对极限预算限制的分类任务中的采样选择过程进行研究，本研究展示了基础视觉转换模型在图像数据集上表现出色的少样本性能，并突出显示了将参数高效微调方法与基础模型相结合的战略优势，从而改进了这些具有挑战性的数据集上的活动学习性能，为优化 AL 策略做出了贡献，并为在专业领域高效和有效地进行数据注释提供了有前景的研究方向。

Jun, 2024

通过研究下游领域的损失函数从随机初始化到预训练初始化的变换，本文揭示了参数梯度稀疏性的特性，提出了基于梯度的稀疏微调算法 Sparse Increment Fine-Tuning (SIFT)，并在多个任务上验证了其有效性。

Dec, 2023

探讨了一种基于网络剪枝的高效的神经架构搜索方法用于学习预训练模型的参数优化方法 (Parameter-efficient tuning)，并在 GLUE 上的实验结果表明算法的有效性以及 PET 网络结构设计的实际表现。

May, 2023

利用渐变参数选择技术（GPS）来进行参数有效的微调，以提高预训练模型的性能，并证明与全模型微调方法相比，只调整预训练模型中的少数参数并保持其余参数冻结可以实现类似或更好的性能，同时不引入额外的参数和计算成本，并在多个任务中表现出更好的性能。

Dec, 2023

通过自动化的 PET 模块结构搜索方法 S^3PET，我们能够以远远低于用于传统模型的可训练参数的预算对预训练模型进行微调，搜索得到的结构具有高度可迁移性和可解释性且在保留超过 99% 微调性能的同时，只需 0.01% 的可训练参数。

Jun, 2022