Feb, 2024

在大规模语言和视觉模型中探索空间模式直觉

PDF
TL;DR尽管大型语言模型在人工智能研究中广泛使用，但其在模型具象问题上的探讨仍未得到充分挖掘，这使它们与感知直接影响物理动作的机器人具象系统相区别。本研究通过对人类关于语言基本空间构建模块的内隐直觉是否被大型语言模型有效捕捉来进行了调查。我们借鉴早期感知运动经验中发展的空间认知基础的见解，通过再现三个心理语言学实验来引导我们的探索。令人惊讶的是，模型输出与人类反应之间出现了相关性，揭示了在没有具体联系到具象经验的情况下的适应能力。值得注意的区别包括极化的语言模型反应和视觉语言模型中降低的相关性。本研究对于深入理解语言、空间经验和大型语言模型所进行的计算之间的相互作用做出了贡献。
large language modelsembodimentspatial building blockspsycholinguistic experimentslanguage and spatial experiences
发现论文，激发创造
  • 评估大型语言模型的空间理解能力

    大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama2 系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了 LLMs 在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs 利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现 LLMs 的错误反映了空间和非空间因素。这些发现表明，LLMs 似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

    Oct, 2023

  • 概念表示需要具身吗？来自大型语言模型的洞见

    该论文比较人类和 ChatGPT（GPT-3.5 和 GPT-4）在各种词汇概念特征或维度上的词汇概念表示，结果表明 LLM 可以在某些抽象维度上表现得与人类相似，但在感官和运动领域，GPT-3.5 表现较弱，而 GPT-4 在这方面有了显著进展，但仍然存在一些不足。此外，研究还发现，GPT-4 的进步主要源于其在视觉领域的训练。研究还发现，某些概念表示的方面似乎与感官能力相互独立，但其他方面似乎需要它们。

    May, 2023

  • EmbSpatial-Bench：基于大型视觉 - 语言模型的空间理解能力基准评估

    近期大型视觉 - 语言模型（LVLMs）的快速发展表明它们在具体任务中的潜力，然而，目前的 LVLMs 在具体环境中的空间理解能力尚未得到充分评估，这使得当前 LVLMs 与合格的具体智能之间存在未知差距。为此，我们构建了 EmbSpatial-Bench，这是一个用于评估 LVLMs 具体空间理解能力的基准测试。该基准测试是从具体场景自动衍生而来的，涵盖了从个体视角出发的 6 种空间关系。实验证明了研究结果，即当前的 LVLMs（甚至包括 GPT-4V）的容量不足，我们进一步提出了 EmbSpatial-SFT，这是一个旨在提高 LVLMs 具体空间理解能力的指导调优数据集。

    Jun, 2024

  • 语言模型能够理解物理概念吗？

    该论文研究了自然语言模型是否能理解物理概念，并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明，视觉增强的语言模型，如 CLIP 和 BLIP，能够理解具身概念，而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。

    May, 2023

  • 图像能否代表千言万语？深入探究视觉语言模型的空间推理

    大型语言模型和视觉 - 语言模型在广泛的任务和领域表现出了显著的优异性能，但空间理解和推理（人类认知的基本组成部分）仍然未得到充分利用。通过开发多方面的空间推理基准，如关系理解、导航和计数，我们对具有竞争力的语言模型和视觉 - 语言模型进行全面评估。我们的发现揭示了几个在文献中被忽视的反常见观点：（1）空间推理带来了重大挑战，竞争模型可能不如随机猜测；（2）尽管有额外的视觉输入，视觉 - 语言模型通常表现不如纯语言模型；（3）当文本和视觉信息都可用时，如果提供足够的文本线索，多模态语言模型对视觉信息的依赖程度降低。此外，我们证明了利用视觉和文本之间的冗余可以显著提高模型性能。我们希望我们的研究能够为改进空间智能并进一步缩小与人类智能之间的差距的多模态模型的发展提供启示。

    Jun, 2024

  • LLMs 跨入 3D 世界：多模态大语言模型对 3D 任务的调查与元分析

    大型语言模型（LLMs）与三维空间数据（3D-LLMs）的整合不断进步，为理解和与物理空间互动提供了前所未有的能力。本文综述了使 LLMs 能够处理、理解和生成 3D 数据的方法，强调了其在上下文学习、逐步推理、开放词汇能力和广泛的世界知识等独特优势，并强调了它们在体现人工智能系统中显著促进空间理解和互动方面的潜力。我们的研究涵盖了从点云到神经辐射场（NeRFs）等各种 3D 数据表示，分析了它们与 LLMs 的整合在 3D 场景理解、字幕生成、问答和对话，以及基于 LLMs 的空间推理、规划和导航等任务中的应用，同时还对整合 3D 和语言的其他方法进行了简要回顾。本文的元分析显示取得了显著进展，但也强调了利用 3D-LLMs 的全部潜力需要创新方法的必要性。因此，本文旨在为未来的研究规划一个探索和扩展 3D-LLMs 在理解和与复杂 3D 世界互动方面能力的道路。为了支持这项综述，我们建立了一个项目页面，其中整理和列出了与我们的主题相关的论文。

    May, 2024

  • SpatialBot：基于视觉语言模型的精确空间理解

    通过为 Vision Language Models 提供 RGB 和深度图像，我们提出了 SpatialBot 来改进其对空间的理解能力，并构建了 SpatialQA 数据集用于训练深度理解，最后通过 SpatialBench 对其在不同层次上的空间理解能力进行综合评估，实验结果表明在 SpatialQA 数据集上训练的 SpatialBot 在空间理解方面取得了显著的改进。

    Jun, 2024

  • 语言模型表示空间和时间

    使用 Llama-2 模型，我们通过分析三个空间数据集（全球、美国、纽约地点）和三个时间数据集（历史人物、艺术品、新闻标题）中学到的表示来找到 LLMs 学习的证据，发现 LLMs 在多个尺度上学习了空间和时间的线性表示，表征对提示的变化具有鲁棒性，并且跨不同实体类型（例如城市和地标）统一。此外，我们还确定了可靠地编码空间和时间坐标的个别 “空间神经元” 和 “时间神经元”。我们的分析证明了现代 LLMs 获取了关于空间和时间等基本维度的结构化知识，支持它们不仅仅学习了表面统计数据，而是字面上的世界模型。

    Oct, 2023

  • 大型语言模型能否为空间推理任务创造新的知识？

    大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到 LLMs 能够对具有空间维度的问题进行复杂推理，这表明现有的 LLMs 能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3 在这方面表现良好。

    May, 2024

  • 3D-LLM：将三维世界注入大型语言模型

    我们提出了一种新的 3D-LLMs，将 3D 世界引入大型语言模型，并利用 3D point clouds 进行各种 3D 相关任务，通过我们设计的提示机制收集了超过 300k 的 3D 语言数据，实验证明我们的模型在 ScanQA 上的表现超过了最先进的基准方法，并在 3D 字幕、任务组合和 3D 辅助对话方面优于 2D VLMs。

    Jul, 2023