文本描述中的顺序对大型语言模型的空间感知能力的影响

Feb, 2024

文本描述中的顺序对大型语言模型的空间感知能力的影响

Sequential Ordering in Textual Descriptions: Impact on Spatial Perception Abilities of Large Language Models

Yuyao Ge, Shenghua Liu, Lingrui Mei, Lizhe Chen, Xueqi Cheng

TL;DR我们的研究通过彻底研究大型语言模型在图形推理方面的问题，揭示了文本序列对于大型语言模型的空间理解的影响，发现图描述性文本序列显著影响大型语言模型在图形推理中的性能，通过改变图描述性文本序列，我们将大型语言模型的性能从 42.22％提高到 70％。此外，我们评估了大型语言模型在图形大小方面的性能，发现大型语言模型的推理性能并不随着图形大小的增加而单调减少。最后，我们引入了用于评估大型语言模型在不同图形大小上性能的 Scaled Graph Reasoning 基准。

Abstract

In recent years, large language models have reached state-of-the-art performance across multiple domains. However, the progress in the field of graph reasoning remains limited. Our work delves into this gap by th

large language models graph reasoning llm spatial understanding graph-descriptive text sequences scaled graph reasoning benchmark

发现论文，激发创造

图上的大型语言模型：综合调查

通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

Dec, 2023

图文融合：图推理在文本空间中

通过一种新的框架 GraphText，将图形转化为自然语言，无需图数据训练，能够实现与监督训练图神经网络相媲美甚至超越其性能的图推理，同时为人类和大型语言模型提供了与模型无缝交流的方式，突显了大型语言模型在图机器学习领域尚未探索的巨大潜力。

Oct, 2023

GraphLLM：提升大型语言模型的图推理能力

通过将图学习模型与大型语言模型（LLMs）有机地融合，我们介绍了 GraphLLM，一种能够使 LLMs 能够熟练解释和推理图数据的先导性端到端方法，经过多个基础图推理任务的实证评估，结果展示了平均准确率提高 54.44％以及各种图推理任务中 96.45％的显著上下文减少。

Oct, 2023

探索和提升大型语言模型的空间推理能力

利用大型语言模型 (大型语言模型) 分析 3D 机器人轨迹数据和 2D 方向形状标注等任务，并引入基于前缀的提示机制，提高了性能，为未来的改进提供了基础。

Dec, 2023

评估大型语言模型的空间理解能力

大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama2 系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了 LLMs 在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs 利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现 LLMs 的错误反映了空间和非空间因素。这些发现表明，LLMs 似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

Oct, 2023

聊天如图：为大型语言模型进行图编码

通过对图结构数据进行编码，探究大型语言模型中图推理任务的性能提升，展示了编码器选择对图推理任务的影响，以及正确选择编码器能够提升性能的洞见。

Oct, 2023

超越文本：深入研究大型语言模型对理解图数据的能力

在该研究中，我们通过对大型语言模型在图预测任务的性能进行实验，评估它们是否能有效处理图数据并利用拓扑结构提高性能；通过与专门的图神经网络进行比较，我们对大型语言模型在图分析中的优势和局限性提供了见解，并为将它们应用于图分析提供了进一步的探索方向。

Oct, 2023

探索大型语言模型中图推理的局限性

预训练大型语言模型通过仅基于语言的提示已经展示出各种类型的推理能力。然而，在本文中，我们通过图形推理问题测试了 5 种不同的 LLMs（GPT-4、GPT-3.5、Claude-2、Llama-2 和 Palm-2）的图形推理深度。我们设计了 10 个不同的图形遍历问题，每个问题代表了不断增加的复杂性水平。此外，我们分析了模型在不同设置下的性能，例如图形大小的变化以及不同形式的 k-shot 提示。我们通过此基准测试过程突出了 LLMs 的各种限制、偏见和属性，例如与图中每个节点遍历的自由度平均值呈反比关系，k-shot 提示对图形推理任务的整体负面影响以及积极的响应偏差，这使得 LLMs 无法识别有效解的缺失。最后，我们提出了一种专门针对图形遍历任务设计的新提示技术，称为 PathCompare，它在 LLMs 的性能方面与标准提示和 CoT 相比表现出显着增加。

Feb, 2024

大型语言模型能否为空间推理任务创造新的知识？

大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到 LLMs 能够对具有空间维度的问题进行复杂推理，这表明现有的 LLMs 能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3 在这方面表现良好。

May, 2024

基于图卷积的大型语言模型用于推荐

利用大型语言模型来改进描述文本的办法受到了研究者的关注，本论文提出了一种基于图卷积的大型语言模型方法，通过捕捉用户 - 物品图中的高阶关系来改进描述文本。在真实世界的数据集上进行了广泛的实验，结果表明我们的方法始终优于现有的最先进方法。

Feb, 2024