ACLJun, 2024

SpaRC 和 SpaRP：用于理解大型语言模型的空间推理能力的空间推理特征描述和路径生成

PDF
TL;DR当前最先进的大型语言模型（LLMs）在空间推理方面性能较差，但随着模型规模的扩大，在空间推理能力上有了显著提升，Finetuning 大或小型语言模型可以显著提高它们的 F1 分数，专有的 LLMs 在拓扑空间理解和推理方面明显优于开源模型。
spatial reasoninglarge language modelssparc frameworksparp datasetstopological spatial understanding
发现论文，激发创造
  • 探索和提升大型语言模型的空间推理能力

    利用大型语言模型 (大型语言模型) 分析 3D 机器人轨迹数据和 2D 方向形状标注等任务，并引入基于前缀的提示机制，提高了性能，为未来的改进提供了基础。

    Dec, 2023

  • 大型语言模型能成为良好的路径规划器吗？空间 - 时间推理的基准和研究调查

    大型语言模型在路径规划和空间推理方面取得了显著的成功，少样本的 GPT-4 通过不同的提示方法在空间推理方面表现出了潜力，而微调的 LLMs 则在小环境或有障碍物的情况下难以推广。

    Oct, 2023

  • 大型语言模型能否为空间推理任务创造新的知识？

    大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到 LLMs 能够对具有空间维度的问题进行复杂推理，这表明现有的 LLMs 能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3 在这方面表现良好。

    May, 2024

  • ChatGPT-4 在 RCC-8 中的定性空间推理能力评估

    定性空间推理是常识推理领域的一个广泛研究领域，应用范围从地理信息系统到机器人和计算机视觉。本文研究了某个大型语言模型在经典的定性空间推理任务上的能力，并以 RCC-8 为例进行研究。

    Sep, 2023

  • 评估大型语言模型的空间理解能力

    大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama2 系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了 LLMs 在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs 利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现 LLMs 的错误反映了空间和非空间因素。这些发现表明，LLMs 似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

    Oct, 2023

  • 语言模型中的空间推理评估重新构架：定性推理的现实世界模拟基准

    我们提出了一个新的基准评估语言模型中的定性空间推理，该基准建立在逼真的三维仿真数据上，提供了一系列具有多样化房间布局、不同对象及其空间关系的详细和富有背景的叙述。我们的基准评估了先进的语言模型在空间推理方面的优势和局限性，发现它们在多跳空间推理和解释混合视角描述方面存在困难，并指出了未来改进的方向。

    May, 2024

  • SpartQA：面向空间推理的文本问答基准

    本文提出了一个自然语言文本中空间推理的问答基准，其中包含更现实的空间现象，并且挑战最先进的语言模型。我们提出了一种远距离监督方法来改善这个任务。具体来说，我们设计语法和推理规则来自动生成视觉场景的空间描述和相应的问答配对。实验证明，进一步预训练语言模型对这些自动生成的数据显著提高了语言模型对空间理解的能力，从而有助于更好地解决两个外部数据集，即 bAbI 和 boolQ。我们希望这项工作能够推动更复杂的文本空间推理模型的研究。

    Apr, 2021

  • 文本描述中的顺序对大型语言模型的空间感知能力的影响

    我们的研究通过彻底研究大型语言模型在图形推理方面的问题，揭示了文本序列对于大型语言模型的空间理解的影响，发现图描述性文本序列显著影响大型语言模型在图形推理中的性能，通过改变图描述性文本序列，我们将大型语言模型的性能从 42.22％提高到 70％。此外，我们评估了大型语言模型在图形大小方面的性能，发现大型语言模型的推理性能并不随着图形大小的增加而单调减少。最后，我们引入了用于评估大型语言模型在不同图形大小上性能的 Scaled Graph Reasoning 基准。

    Feb, 2024

  • 大型语言模型的空间推理推进：使用 StepGame 基准进行深入评估和增强

    人工智能在许多领域取得了显著进展，类似 ChatGPT 这样的大型语言模型因其人类化的文本生成能力而受到了广泛关注。然而，空间推理仍然是这些模型面临的重大挑战。本研究通过改进 StepGame 基准测试，提供了更准确的数据集用于模型评估，并分析了 GPT 在修正后的基准测试上的空间推理性能。我们发现 GPT 在将自然语言文本映射到空间关系方面表现出了优势，但在多跳推理方面存在局限性。我们通过将模板到关系映射与基于逻辑的推理相结合，提供了基准测试的完美解决方案，可以在 StepGame 上进行定性推理而不会出现任何错误。此外，我们还针对 GPT 模型在空间推理方面的局限性进行了改进，采用了连续思考和思维树提示策略，在准确性方面取得了显著的改善。我们的研究不仅揭示了模型的不足之处，还提出了增强措施，为具备更强大空间推理能力的人工智能的进展做出了贡献。

    Jan, 2024

  • 图像能否代表千言万语？深入探究视觉语言模型的空间推理

    大型语言模型和视觉 - 语言模型在广泛的任务和领域表现出了显著的优异性能，但空间理解和推理（人类认知的基本组成部分）仍然未得到充分利用。通过开发多方面的空间推理基准，如关系理解、导航和计数，我们对具有竞争力的语言模型和视觉 - 语言模型进行全面评估。我们的发现揭示了几个在文献中被忽视的反常见观点：（1）空间推理带来了重大挑战，竞争模型可能不如随机猜测；（2）尽管有额外的视觉输入，视觉 - 语言模型通常表现不如纯语言模型；（3）当文本和视觉信息都可用时，如果提供足够的文本线索，多模态语言模型对视觉信息的依赖程度降低。此外，我们证明了利用视觉和文本之间的冗余可以显著提高模型性能。我们希望我们的研究能够为改进空间智能并进一步缩小与人类智能之间的差距的多模态模型的发展提供启示。

    Jun, 2024