Aug, 2022

语言模型在算术和符号归纳中的局限性

TL;DR本文研究了大型预训练语言模型在符号操作任务上的能力,发现其对于简单的符号操作任务如复制、反转、加法等存在局限,并提出了基于位置标记,细粒度计算步骤以及可调用程序的方法来解决该问题。结果显示,这些方法均无法完全解决最简单的加法归纳问题。最后,介绍了一种带有辅导的 LMs,可以在 OOD 和重复符号的情况下实现 100%的准确性。