人工智能在许多领域取得了显著进展，类似 ChatGPT 这样的大型语言模型因其人类化的文本生成能力而受到了广泛关注。然而，空间推理仍然是这些模型面临的重大挑战。本研究通过改进 StepGame 基准测试，提供了更准确的数据集用于模型评估，并分析了 GPT 在修正后的基准测试上的空间推理性能。我们发现 GPT 在将自然语言文本映射到空间关系方面表现出了优势，但在多跳推理方面存在局限性。我们通过将模板到关系映射与基于逻辑的推理相结合，提供了基准测试的完美解决方案，可以在 StepGame 上进行定性推理而不会出现任何错误。此外，我们还针对 GPT 模型在空间推理方面的局限性进行了改进，采用了连续思考和思维树提示策略，在准确性方面取得了显著的改善。我们的研究不仅揭示了模型的不足之处，还提出了增强措施，为具备更强大空间推理能力的人工智能的进展做出了贡献。

Jan, 2024

本文提出了一个自然语言文本中空间推理的问答基准，其中包含更现实的空间现象，并且挑战最先进的语言模型。我们提出了一种远距离监督方法来改善这个任务。具体来说，我们设计语法和推理规则来自动生成视觉场景的空间描述和相应的问答配对。实验证明，进一步预训练语言模型对这些自动生成的数据显著提高了语言模型对空间理解的能力，从而有助于更好地解决两个外部数据集，即 bAbI 和 boolQ。我们希望这项工作能够推动更复杂的文本空间推理模型的研究。

Apr, 2021

使用大型语言模型在游戏中评估策略推理能力的跨领域基准 (GameBench) 显示，虽然大多数测试模型并不及人类水平，但对策略推理能力的两种框架（CoT 和 RAP）能够提高分数。

Jun, 2024

本文研究两个新的数据集对于多跳推理问题，探究了句子分层模型和无标记版本中的伪相关性。结果表明，高绩效模型可能没有像以前想象的那样学到足够的多跳推理。

Apr, 2019

本文提出了一种用于高级数学推理的数据集，研究了神经序列到序列模型的推理能力。实验结果表明，该任务具有挑战性，但神经模型能够捕捉到非平凡的数学推理，提出的分层 Transformer 的性能也好于基准 Transformer。

Jun, 2020

提出了一个基于序列任务的具有挑战性的基准测试 STEPS，它包括两个子任务设置，聚焦于确定食谱中给定下一步的合理性和从多项选择题中选择合理步骤，通过实验结果说明了序列任务中的常识推理具有挑战性，并且提示方法在 STEPS 上仍然明显落后于基于调优的方法。

Jun, 2023

本文提出了一个解释性逐步推理框架，将单跳支持句子识别和单跳问题生成结合起来，并利用当前跳的推理来推导出最终结果。我们使用一个统一的读者模型进行中间跳推理和最终跳推理，并采用联合优化来实现更精确和稳健的多跳推理，取得了良好的实验效果。

Aug, 2022

本文介绍 STREET，一个统一的多任务、多领域自然语言推理和解释基准。该基准要求模型不仅能回答问题，还能产生步骤化的结构化解释，并描述问题中的前提是如何用于产生能证明某个答案正确性的中间结论。作者使用 GPT-3 和 T5 等常见语言模型进行了广泛的评估，发现这些模型在产生这些结构化推理步骤方面仍远落后于人类表现。作者相信，这项工作将为社区提供一种更好的方法，以在自然语言的多步推理和解释方面进行更好的系统培训和测试。

Feb, 2023

本研究创建了一个名为 2WikiMultiHopQA 的新的多跳问题回答数据集，使用结构化和非结构化数据生成问题 - 答案对，并提供包含推理路径的证据信息以提供预测的全面解释并评估模型推理技能。通过实验，我们证明了我们的数据集对于多跳模型来说具有挑战性，并确保需要使用多跳推理。

Nov, 2020

当前最先进的大型语言模型（LLMs）在空间推理方面性能较差，但随着模型规模的扩大，在空间推理能力上有了显著提升，Finetuning 大或小型语言模型可以显著提高它们的 F1 分数，专有的 LLMs 在拓扑空间理解和推理方面明显优于开源模型。

Jun, 2024