Nov, 2022
参数高效微调的有效性
On the Effectiveness of Parameter-Efficient Fine-Tuning
Zihao Fu, Haoran Yang, Anthony Man-Cho So, Wai Lam, Lidong Bing...
TL;DR本文介绍了 Fine-tuning pre-trained models 方法的缺点,提出了采用参数稀疏性进行参数调优的方法,并且通过理论分析表明,这种参数稀疏性会在一定程度上控制稳定性上限,提高泛化能力;同时还提出了一种新的 SAM 方法用于选择可调参数,并通过实验证实了理论分析的正确性。