利用数据图在大型机器人任务环境中扩展3D推理
提出了一种用于智能代理系统的多功能环境建模方法——3D场景图模型，其具有广泛的适用性、直观的易用性和满意的可扩展性，并通过实验验证了该方法的准确性和适用性。
Aug, 2019
该研究提出了基于3D场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的3DSG稀疏化方法SCRUB和学习规划器的结构化剪枝方法SEEK，以期在机器人任务规划，学习和3DSGs等领域推动进一步的研究。
Jul, 2022
SayPlan是一种可扩展的、基于LLM的、大规模任务规划方法，使用3D场景图表示，在多层和多房间环境中对机器人的任务进行规划，其方法包括利用3DSG的分层结构和引入经典路径规划算法来降低规划范围，并使用迭代重新规划以在图形模拟器中反馈使行动可行和避免规划失败的信息。我们在两个大规模环境上进行了评估，显示了我们的方法能够从抽象和自然语言指令中为移动机械手执行大规模、长范围任务计划。
Jul, 2023
为了使机器人能够执行各种任务，本研究提出了一种名为ConceptGraphs的基于图结构的3D场景表示方法，通过将2D基本模型的输出与多视图关联相结合，不需要收集大型3D数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。
Sep, 2023
该论文提出了一种在任意环境（室内和室外）中构建3D场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建3D场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成3D场景图的质量。
Dec, 2023
本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。
Mar, 2024
利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的3D场景模块化表示，并引入基于LLM的修剪策略以消除无关的目标特定信息。
Mar, 2024
大型多模态模型（LMMs）在视觉理解和推理方面取得了令人瞩目的成功，显著提高了数学推理在视觉环境中的性能。然而，多模态图理论问题是一类具有挑战性的视觉数学问题，要求LMMs准确理解图形结构并在视觉图上进行多步推理。我们首次设计了一个名为VisionGraph的基准，用于探索先进LMM在解决多模态图论问题方面的能力。它包括八个复杂的图问题任务，从连通性到最短路径问题。随后，我们提出了一个描述-编程-推理（DPR）链，在图形结构描述生成和算法感知的多步推理过程中提高了逻辑准确性。我们的广泛研究表明：1）GPT-4V在多步图推理方面优于Gemini Pro；2）无论在零/少样本设置还是在受监督微调（SFT）中，所有LMM在图形结构的感知准确性方面表现较差，这进一步影响了问题解决的性能；3）DPR显著提高了LMM的多步图推理能力，GPT-4V（DPR）代理达到了SOTA性能。
May, 2024
大型语言模型（LLMs）与三维空间数据（3D-LLMs）的整合不断进步，为理解和与物理空间互动提供了前所未有的能力。本文综述了使LLMs能够处理、理解和生成3D数据的方法，强调了其在上下文学习、逐步推理、开放词汇能力和广泛的世界知识等独特优势，并强调了它们在体现人工智能系统中显著促进空间理解和互动方面的潜力。我们的研究涵盖了从点云到神经辐射场（NeRFs）等各种3D数据表示，分析了它们与LLMs的整合在3D场景理解、字幕生成、问答和对话，以及基于LLMs的空间推理、规划和导航等任务中的应用，同时还对整合3D和语言的其他方法进行了简要回顾。本文的元分析显示取得了显著进展，但也强调了利用3D-LLMs的全部潜力需要创新方法的必要性。因此，本文旨在为未来的研究规划一个探索和扩展3D-LLMs在理解和与复杂3D世界互动方面能力的道路。为了支持这项综述，我们建立了一个项目页面，其中整理和列出了与我们的主题相关的论文。
May, 2024