Apr, 2024

语言模型作为编译器:模拟伪代码执行提升语言模型的算法推理能力

TL;DR该论文介绍了一种名为Think-and-Execute的新框架,它将语言模型的推理过程分解为两步:首先在思考阶段,发现共享于给定任务所有实例的任务级逻辑,然后用伪代码表达逻辑;然后在执行阶段,进一步针对每个实例调整生成的伪代码并模拟代码的执行。通过对七个算法推理任务进行大量实验证明了Think-and-Execute的有效性。相较于执行特定实例推理的强基线(例如CoT和PoT),我们的方法更好地提高了语言模型的推理能力,这表明发现任务级逻辑的帮助性。此外,我们还展示了相对于自然语言,伪代码可以更好地引导语言模型的推理,即使它们经过自然语言指导的训练。