ICLRApr, 2023
基于实证分析的 PEFT 技术在 LLM 中的优势和劣势
Empirical Analysis of the Strengths and Weaknesses of PEFT Techniques for LLMs
George Pu, Anirudh Jain, Jihan Yin, Russell Kaplan
TL;DR本文主要介绍了大型语言模型的 fine-tuning 方法 ——parameter-efficient fine-tuning(PEFT),并通过对 FLAN-T5 模型的综合测试和分析,提出了选择 fine-tuning 技术的最佳方法,重点考虑任务类型和数据可用性,同时指出了 PEFT 方法在数据过少的情况下的收敛速度慢的问题,提出了更好的 model optimization 方法。