Feb, 2025

自我改进的变压器克服简单到困难和长度泛化挑战

TL;DR本研究解决了大型语言模型在长度泛化和超出训练数据分布的复杂问题实例中表现不佳的问题。提出了一种自我改进的方法,通过模型自我生成解决方案并学习,从而逐渐应对更困难的任务,显著提高模型在训练分布之外的表现。结果表明,通过有序的弱到强的课程,模型能够有效地学习逻辑外推,而无需对位置嵌入或模型架构进行更改。