通过网络图解决本体不协调问题
该论文提出了一种在任意环境(室内和室外)中构建 3D 场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战,提出了构建空间本体和使用逻辑张量网络构建 3D 场景图的两个新扩展。通过使用大型语言模型构建空间本体,从而大大减少手动工作量;并利用逻辑张量网络添加逻辑规则或公理,提供附加的监督信号,减少标记数据的需求,并在训练时允许预测未见过的概念。在多个数据集上测试表明,该方法显著提高了使用稀疏注释数据生成 3D 场景图的质量。
Dec, 2023
为了使机器人能够执行各种任务,本研究提出了一种名为 ConceptGraphs 的基于图结构的 3D 场景表示方法,通过将 2D 基本模型的输出与多视图关联相结合,不需要收集大型 3D 数据集或微调模型即可实现对新的语义类进行泛化推理,并通过一些需要对空间和语义概念进行复杂推理的后续规划任务来证明这种表示方法的实用性。
Sep, 2023
本文提出了一种基于 Graph Neural Networks 的新型深度学习方法,以解决如何预测大型演化网络中链接出现的问题,特别地,预测与 AI 相关的主题之间的链接。实验结果表明,使用此方法能够有效地识别出节点的吸收和密集子图的合并两种模式,且模型具有较高的预测准确性。
Jan, 2022
本文提出了一个动态图形框架,能够有效地建模上下文话语、令牌、数据库模式及其交互,并通过强大的重新排名模型进一步增强。该模型在 SParC 和 CoSQL 数据集上实现了新的最优表现。
Jan, 2021
我们介绍了一种开放词汇的 3D 场景图(OVSG),它是一个形式化的框架,用于将各种实体,如物体实例、代理和区域,与自由文本查询进行关联。与传统的基于语义的物体定位方法不同,我们的系统支持上下文感知的实体定位,允许查询,如 ' 在厨房桌子上拿起一个杯子 ' 或' 导航到一个有人坐在上面的沙发 '。与现有的 3D 场景图研究相比,OVSG 支持自由文本输入和开放词汇查询。通过使用 ScanNet 数据集和自采集数据集进行的一系列比较实验证明,我们提出的方法明显超越了以前基于语义的定位技术的性能。此外,我们突出了 OVSG 在真实世界的机器人导航和操作实验中的实际应用。
Sep, 2023
提出了一种用于智能代理系统的多功能环境建模方法 ——3D 场景图模型,其具有广泛的适用性、直观的易用性和满意的可扩展性,并通过实验验证了该方法的准确性和适用性。
Aug, 2019
本文介绍了如何使用图神经网络来学习从低级因子图中推断出的高级语义关系概念,提出了一个可以更准确、更高效地推断房间实体及其与映射墙面的关系的方法,同时演示了如何引入墙面的语义概念及其与墙面的关系。该方法已经集成到 S-Graphs + 中,并在模拟和实际数据集上进行了验证。我们将提供包含该软件的 Docker 容器供科学界使用。
Sep, 2023
本研究提出了一种基于场景图的三维语义理解方法,构建了一个场景图,包括物体、房间和摄像机之间的关系,同时也提出了一种半自动的框架以减少手动处理的工作量,并增强了现有的检测方法,通过查询图片和多视角一致性实现了更好的检测表现。
Oct, 2019