Dec, 2023
预训练语言模型的参数高效微调方法:关键评估与考察
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment
Lingling Xu, Haoran Xie, Si-Zhao Joe Qin, Xiaohui Tao, Fu Lee Wang
TL;DR预训练语言模型与基于它们的参数高效微调方法被综合评述,重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。