Jul, 2022

任务地理学：针对大型三维场景图的机器人任务规划评估

PDF
TL;DR该研究提出了基于 3D 场景图的大规模机器人任务规划基准，系统研究了符号计划的性能，并提出了任务条件下的 3DSG 稀疏化方法 SCRUB 和学习规划器的结构化剪枝方法 SEEK，以期在机器人任务规划，学习和 3DSGs 等领域推动进一步的研究。
3d scene graphsrobotic task planningsymbolic planningscrubseek
发现论文，激发创造
  • SayPlan：利用 3D 场景图对大型语言模型进行基础，实现可扩展任务规划

    SayPlan 是一种可扩展的、基于 LLM 的、大规模任务规划方法，使用 3D 场景图表示，在多层和多房间环境中对机器人的任务进行规划，其方法包括利用 3DSG 的分层结构和引入经典路径规划算法来降低规划范围，并使用迭代重新规划以在图形模拟器中反馈使行动可行和避免规划失败的信息。我们在两个大规模环境上进行了评估，显示了我们的方法能够从抽象和自然语言指令中为移动机械手执行大规模、长范围任务计划。

    Jul, 2023

  • ConceptGraphs: 开放词汇三维场景图用于感知和规划

    为了使机器人能够执行各种任务，本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法，通过将 2D 基本模型的输出与多视图关联相结合，不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理，并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。

    Sep, 2023

  • 使用几何和符号场景图进行长时程操作的分层规划

    我们提出了一种基于视觉的分层规划算法，利用神经符号任务规划和基于低级运动产生的联合框架，以指定目标为条件。该算法使用两级场景图形式来表示操作场景，即几何场景图和符号场景图，并使用图形神经网络来为高层任务规划和低层动作生成处理这些场景图。我们在物理模拟和现实世界中的厨房储物任务中验证了我们的方法，并证明我们的方法比标准的搜索任务和运动规划器运行速度高四个数量级。

    Dec, 2020

  • 场景图上的顺序操纵规划

    本文提出了一种基于 3D 场景图表示的联系图 +（CG +）的机器人规划方法，利用谓词属性增强这种联系图表示，进行任务规划，计算初始场景图和目标配置之间的图形编辑距离（GED）来初始化任务计划，最终通过实施约束来完成任务，并通过系列实验验证其潜力和可行性。

    Jul, 2022

  • 3D 动态场景图：通过场景、物体和人物实现可操作的空间感知

    本文提出 3D 动态场景图作为空间感知的统一表示方法，同时基于视觉惯性数据提供第一个全自动 Spatial PerceptIon eNgine (SPIN) automatically 构建 DSG，并且采用最先进的技术实现物体和人物检测及姿态估计，从而在场景分析，动作规划，决策制定等方面具有极大的潜力。

    Feb, 2020

  • 结构化室内环境机器人导航的情境图

    本论文提出了一种新的实时在线构建的 Situational Graph（S-Graph）方法，将环境的几何，语义和关系维度与机器人姿态结合起来。该方法利用里程计读数和来自 3D LiDAR 扫描的平面表面，构建和优化三层 S-Graph，不仅展示了机器人姿态估计的最先进结果，而且贡献了一种度量 - 语义 - 拓扑环境模型。

    Feb, 2022

  • 基于语言的机器人导航的分层开放词汇三维场景图

    本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

    Mar, 2024

  • 基于层次利用 S - 图进行更快优化

    通过利用层次结构和压缩冗余机器人姿态来减小图的规模，我们提出了改进版的 S-Graphs，相较于基线，实现了类似的准确性，并在计算时间上减少了 39.81%。

    Aug, 2023

  • SG-Bot：基于场景图的粗到细机器人想象力的目标重新排列

    SG-Bot 是一种新颖的重新排列框架，利用分级的场景图作为场景表示，通过观察、想象和执行三个步骤，灵活地处理对象重新排列任务，并通过生成模型形成目标场景，此外，实验结果表明 SG-Bot 在性能上超过竞争对手很大一个幅度。

    Sep, 2023

  • NS3D: 三维物体和关系的神经符号基础

    本文提出了 NS3D 三维场景认知神经符号框架，通过使用基于大规模语言编程模型的层级结构来将语言翻译为程序，不同的功能模块实现为神经网络，并引入管高度关系的功能模块有效地推理复杂场景中物体之间的关系，在数据效率和泛化方面表现出色，在 3D 视角相关任务 ReferIt3D 上获得了最先进的结果。

    Mar, 2023