Oct, 2024

合并学习:通过模型合并高效添加语言模型技能

TL;DR本研究针对通用语言模型适应新技能的高成本问题,提出了一种通过隔离训练新技能并随后与通用模型合并的方法。实验表明,这种并行训练后合并的过程,不仅成本显著低于传统的模型重训,也能有效提升模型对安全提示的遵从性,同时保持其拒绝危险或有害提示的能力。