Jul, 2024

SwitchCIT:用于大型语言模型的持续指令调整的切换

TL;DR该研究讨论了在大规模语言模型中出现的连续指导调整中的灾难性遗忘问题,并通过一种切换机制来解决此问题,使计算能够路由到参数高效调整的模型,该方法通过实验表明其在不同自然语言生成任务的连续指导调整中具有显著有效性。