Jul, 2024
可靠推理超越自然语言
Reliable Reasoning Beyond Natural Language
TL;DR我们提出了一种神经符号化方法,该方法通过提示大型语言模型从问题陈述中提取和编码所有相关信息作为逻辑代码语句,并使用逻辑编程语言(Prolog)进行明确的演绎推理的迭代计算,从而显著提高了大型语言模型在标准数学推理基准测试GSM8k和BIG-bench数据集的Navigate数据集上的性能。此外,我们引入了一个新的数据集,Non-Linear Reasoning(NLR)数据集,包含55个唯一的单词问题,针对大型语言模型的下一个令牌预测范式的缺点,并要求使用基本算术技能解决复杂的非线性推理。我们的研究结果表明,Prolog的集成使得大型语言模型能够在NLR数据集上实现高性能,在此任务上,甚至包括GPT4在内的最先进语言模型都无法通过纯文本解决。