Jan, 2023
AutoPEFT: 参数高效微调自动配置搜索
AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning
Han Zhou, Xingchen Wan, Ivan Vulić, Anna Korhonen
TL;DR本文介绍了一个名为 AutoPEFT 的框架,通过高维贝叶斯优化自动配置多个 PEFT 模块,控制并最大化性能和参数效率之间的平衡,实现对于性能和参数节约的优化,表现要优于现有的 PEFT 方法,高于标准 GLUE 基准上的平均值,并且在单个任务上进行配置搜索,AutoPEFT 即使优于全模型微调。