Jun, 2024
基于语义的层冻结方法:高效微调语言模型
A Semantic-based Layer Freezing Approach to Efficient Fine-Tuning of Language Models
Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang
TL;DR通过对语言模型推理过程进行语义分析,我们提出了在层级上进行参数微调的方法,通过估计每个模型层的微调效果以及缩小微调的范围,我们的方法在 LM 微调中表现出有效且高效的特点。