本文提出了 OpenGraph，一种适用于大规模户外环境的开放词汇层次图结构表示，该结构兼具图像和文字语义，并通过 2D 模型提取实例和标题，以增强文本推理能力，并通过将图像投影到 LiDAR 点云上实现了 3D 增量全景映射和特征嵌入，最终根据车道图连通性对环境进行分割构建了一个层次化图。验证结果显示，OpenGraph 能够在没有微调模型的情况下推广到新的语义类别，并取得最高的分割和查询精度。

Mar, 2024

本研究致力于解决大规模环境下对象层次之外的抽象查询对于基于语言引导的机器人导航的难题，通过构建一个层次化的开放词汇三维场景图映射方法（HOV-SG），将先进的开放词汇分割级别地图与自由导航相结合，并在覆盖面积上实现了大小的减少，并且在物体、房间和楼层级别上产生了超过之前基线的开放词汇语义准确度。

Mar, 2024

提出了一种用于智能代理系统的多功能环境建模方法 ——3D 场景图模型，其具有广泛的适用性、直观的易用性和满意的可扩展性，并通过实验验证了该方法的准确性和适用性。

Aug, 2019

我们介绍了一种开放词汇的 3D 场景图（OVSG），它是一个形式化的框架，用于将各种实体，如物体实例、代理和区域，与自由文本查询进行关联。与传统的基于语义的物体定位方法不同，我们的系统支持上下文感知的实体定位，允许查询，如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比，OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明，我们提出的方法明显超越了以前基于语义的定位技术的性能。此外，我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。

Sep, 2023

本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

Apr, 2020

该论文提出了一种在任意环境（室内和室外）中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。

Dec, 2023

本研究提出了一种基于场景图的三维语义理解方法，构建了一个场景图，包括物体、房间和摄像机之间的关系，同时也提出了一种半自动的框架以减少手动处理的工作量，并增强了现有的检测方法，通过查询图片和多视角一致性实现了更好的检测表现。

Oct, 2019

本论文提出了一种新的实时在线构建的 Situational Graph（S-Graph）方法，将环境的几何，语义和关系维度与机器人姿态结合起来。该方法利用里程计读数和来自 3D LiDAR 扫描的平面表面，构建和优化三层 S-Graph，不仅展示了机器人姿态估计的最先进结果，而且贡献了一种度量 - 语义 - 拓扑环境模型。

Feb, 2022

通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

Nov, 2022

本文介绍了一种基于视觉语言模型的语义抽象框架，可以为机器人在未结构化的三维环境中推理，并学会三维空间和几何推理技能，并在两个开放式三维场景理解任务上进行了实验测试。

Jul, 2022