Feb, 2024

当扩展与LLM微调相遇:数据、模型和微调方法的影响

TL;DR大语言模型的微调方法的缩放因子对模型性能的影响的系统实验结果表明,LLM finetuning 遵循微调数据量与其他缩放因子之间的幂函数乘法联合缩放规律,LLM 模型尺寸的扩大比预训练数据尺寸的扩大对 finetuning 更有益处,而仅考虑参数缩放的效果通常并不明显,同时最优的 finetuning 方法与任务和微调数据相关联,这些结果对于选择和开发 LLM finetuning 方法具有指导意义。