May, 2024

LLMs跨入3D世界：多模态大语言模型对3D任务的调查与元分析

HTML
PDF
TL;DR大型语言模型（LLMs）与三维空间数据（3D-LLMs）的整合不断进步，为理解和与物理空间互动提供了前所未有的能力。本文综述了使LLMs能够处理、理解和生成3D数据的方法，强调了其在上下文学习、逐步推理、开放词汇能力和广泛的世界知识等独特优势，并强调了它们在体现人工智能系统中显著促进空间理解和互动方面的潜力。我们的研究涵盖了从点云到神经辐射场（NeRFs）等各种3D数据表示，分析了它们与LLMs的整合在3D场景理解、字幕生成、问答和对话，以及基于LLMs的空间推理、规划和导航等任务中的应用，同时还对整合3D和语言的其他方法进行了简要回顾。本文的元分析显示取得了显著进展，但也强调了利用3D-LLMs的全部潜力需要创新方法的必要性。因此，本文旨在为未来的研究规划一个探索和扩展3D-LLMs在理解和与复杂3D世界互动方面能力的道路。为了支持这项综述，我们建立了一个项目页面，其中整理和列出了与我们的主题相关的论文。
发现论文，激发创造
  • 3D-LLM：将三维世界注入大型语言模型

    我们提出了一种新的3D-LLMs，将3D世界引入大型语言模型，并利用3D point clouds进行各种3D相关任务，通过我们设计的提示机制收集了超过300k的3D语言数据，实验证明我们的模型在ScanQA上的表现超过了最先进的基准方法，并在3D字幕、任务组合和3D辅助对话方面优于2D VLMs。

    Jul, 2023

  • Chat-3D：数据高效调整大型语言模型，用于3D场景的通用对话

    本文介绍了Chat-3D，它通过将预训练的3D表示与先进的LLM的推理和对话能力相结合，实现了首个用于3D场景的通用对话系统。 Chat-3D能够感知3D世界，具备理解各种3D场景指令、进行复杂的空间推理并将外部知识融入其响应的能力。在构建的指令数据集上，Chat-3D相对于GPT-4获得了相对得分75.6%。

    Aug, 2023

  • 评估大型语言模型的空间理解能力

    大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索LLMs对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了LLMs（特别是GPT-3.5-turbo，GPT-4和Llama2系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了LLMs在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现LLMs的错误反映了空间和非空间因素。这些发现表明，LLMs似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

    Oct, 2023

  • LL3DA：面向全方位三维理解、推理和规划的视觉交互指令调整

    LL3DA是一种大型语言3D助手，可以直接接收点云输入，并对文本指令和视觉提示进行回应，可以帮助大型多模态模型更好地理解人类互动，并在杂乱的3D场景中消除歧义。实验证明，LL3DA在3D密集字幕和3D问答方面取得了显著成果，并超越了各种3D视觉语言模型。

    Nov, 2023

  • LiDAR-LLM：探索大语言模型在3D LiDAR理解方面的潜力

    LiDAR-LLM使用Large Language Models（LLMs）和Multimodal Large Language Models（MLLMs）来理解3D场景，通过重新构建3D场景认知为语言建模问题并使用View-Aware Transformer（VAT）来加强LLMs的空间定向理解，从而实现对3D场景的多种指令的理解和复杂空间推理。

    Dec, 2023

  • Scene-LLM: 扩展语言模型用于3D视觉理解和推理

    介绍了Scene-LLM，一种增强3D室内环境中具有交互能力的具身化智能体的3D视觉语言模型，通过整合大型语言模型（LLM）的推理能力。该模型采用混合的3D视觉特征表示方法，结合了密集的空间信息并支持场景状态更新。它采用投影层将这些特征高效地投影到预训练的文本嵌入空间中，从而有效解释3D视觉信息。我们方法独特之处在于整合了场景级和自我中心的3D信息，这对于交互式规划至关重要，其中场景级数据支持全局规划，自我中心数据对于定位非常重要。值得注意的是，我们使用自我中心的3D帧特征进行特征对齐，这是一种增强模型对场景中小物体特征对齐能力的高效技术。通过Scene-LLM的实验证明了其在密集字幕生成、问题回答和交互规划方面的强大能力。我们相信Scene-LLM推进了3D视觉理解和推理的领域，在室内环境中为复杂智能体的交互提供了新的可能性。

    Mar, 2024

  • 3DBench：可扩展的 3D 基准测试和指令调优数据集

    评估多模态大型语言模型（MLLMs）的性能，集成点云和语言，面临重大挑战。缺乏全面评估阻碍确定这些模型是否真正代表进步，从而妨碍该领域的进一步发展。我们引入了可扩展的3D基准测试和大规模指令调整数据集3DBench，提供了一个全面评估MLLMs的可扩展平台，以解决这些问题。该基准测试覆盖了从物体级到场景级的广泛空间和语义范围，涉及感知和规划任务，并且我们提出了一个严格的流程来自动生成可扩展的3D指令调整数据集，总共涵盖了10个多模态任务，共生成了超过23万个问答对。通过对热门MLLMs的彻底实验评估、与现有数据集的比较以及训练方案的变异，我们展示了3DBench的优越性，为当前的局限性和潜在研究方向提供了有价值的见解。

    Apr, 2024

  • 大型语言模型能否为空间推理任务创造新的知识？

    大型语言模型（LLMs）具有生成新信息的潜力，这对于研究和创新来说是一个潜在的重大突破。本文观察到LLMs能够对具有空间维度的问题进行复杂推理，这表明现有的LLMs能够达到相当程度的理解能力，支持其具有重要的新现象产生特性。特别地，Claude 3在这方面表现良好。

    May, 2024

  • 图像能否代表千言万语？深入探究视觉语言模型的空间推理

    大型语言模型和视觉-语言模型在广泛的任务和领域表现出了显著的优异性能，但空间理解和推理（人类认知的基本组成部分）仍然未得到充分利用。通过开发多方面的空间推理基准，如关系理解、导航和计数，我们对具有竞争力的语言模型和视觉-语言模型进行全面评估。我们的发现揭示了几个在文献中被忽视的反常见观点：（1）空间推理带来了重大挑战，竞争模型可能不如随机猜测；（2）尽管有额外的视觉输入，视觉-语言模型通常表现不如纯语言模型；（3）当文本和视觉信息都可用时，如果提供足够的文本线索，多模态语言模型对视觉信息的依赖程度降低。此外，我们证明了利用视觉和文本之间的冗余可以显著提高模型性能。我们希望我们的研究能够为改进空间智能并进一步缩小与人类智能之间的差距的多模态模型的发展提供启示。

    Jun, 2024

  • SPARTUN3D：大型语言模型中的情境空间理解3D世界

    本研究解决了当前3D基础大型语言模型在情境理解方面的缺陷，主要表现为缺乏具有情境背景的3D数据集以及空间表示与自然语言之间的对齐问题。通过引入镶嵌了多种情境空间推理任务的可扩展数据集Spartun3D，并与一个新的情境空间对齐模块结合，该研究显著提高了3D视觉表示与文本描述之间的对齐性能，进而改善了3D基础大型语言模型的情境空间理解能力。

    Oct, 2024