Feb, 2025
激活信息引导的大型语言模型合并
Activation-Informed Merging of Large Language Models
Amin Heyrani Nobari, Kaveh Alimohammadi, Ali ArjomandBigdeli, Akash Srivastava, Faez Ahmed...
TL;DR该研究解决了大型语言模型(LLMs)合并过程中的性能提升问题。提出了一种名为激活信息引导合并(AIM)的新技术,将激活空间信息融入模型合并,显著提升了模型的性能与鲁棒性。研究结果显示,AIM能在多个基准测试中实现高达40%的性能提升,具有重要的应用潜力。