Sep, 2024

基于图神经网络的度量语义因子图生成

HTML
PDF
TL;DR本研究解决了在复杂环境中准确建模时几何结构与语义概念之间关系的理解缺口。通过提出一种新颖的度量语义因子图生成方法，该方法利用图神经网络，定义语义场景图并集成几何信息。研究发现，在增强SLAM性能的同时，该方法能有效处理复杂环境的高层次概念与几何元素之间的关系。
发现论文，激发创造
  • 学习用于概率语义地图的图结构求和-乘积网络

    介绍了一种名为图结构和积网络的概率方法，可用于机器人领域的结构预测问题，演示了该方法如何通过处理机器人在大规模办公空间中的嘈杂拓扑关系来提高关于语义概念描述的推断，并显示GraphSPNs始终优于传统基于无向图模型的方法。

    Sep, 2017

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于PointNet和Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集3DSSG来支持该方法的应用和评估。

    Apr, 2020

  • 空间关系图和图卷积网络用于目标导航

    该论文介绍了一种针对目标导航任务的框架，其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入，以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间，机器人使用贝叶斯推断和空间关系图来估计可见区域，并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。

    Aug, 2022

  • 神经隐式稠密语义 SLAM

    提出了一种利用神经隐式场表示解决室内场景语义V-SLAM问题的在线框架，并通过多项实验表明其在测试时间具有精确的跟踪、地图绘制和语义标注能力，能够扩展到RGB图像输入，为机器人视觉感知及相关问题提供了可行的解决方案。

    Apr, 2023

  • 利用异构图和线框进行室内布局估计的多边形检测

    该论文提出了一种基于神经网络和多边形表示的语义平面检测方法, 可用于解决房间布局估计任务, 通过线和交点等特征生成无向图，从中获得所求平面的多边形表示，实验结果表明该基于图的方法在使用合成线框检测时超越了当今最先进的方法，表现出很大的潜力。

    Jun, 2023

  • 通过推理高层次的语义关系概念改进情境图

    本文介绍了如何使用图神经网络来学习从低级因子图中推断出的高级语义关系概念，提出了一个可以更准确、更高效地推断房间实体及其与映射墙面的关系的方法，同时演示了如何引入墙面的语义概念及其与墙面的关系。该方法已经集成到S-Graphs+中，并在模拟和实际数据集上进行了验证。我们将提供包含该软件的Docker容器供科学界使用。

    Sep, 2023

  • 基于语言增强的空间本体论的室内外三维场景图生成

    该论文提出了一种在任意环境（室内和室外）中构建3D场景图的方法。为了解决室内和室外环境的概念层次复杂性和训练数据不足的挑战，提出了构建空间本体和使用逻辑张量网络构建3D场景图的两个新扩展。通过使用大型语言模型构建空间本体，从而大大减少手动工作量；并利用逻辑张量网络添加逻辑规则或公理，提供附加的监督信号，减少标记数据的需求，并在训练时允许预测未见过的概念。在多个数据集上测试表明，该方法显著提高了使用稀疏注释数据生成3D场景图的质量。

    Dec, 2023

  • 因子图约束下的布局生成

    通过因子图神经网络的消息传递，根据用户需求生成符合要求的户型设计，实现了在空间约束下对象中心化的布局生成。

    Mar, 2024

  • QueSTMaps：可查询的二维场景语义拓扑地图

    通过楼层平面图提取，我们引入了一个两步流程，首先使用一种新颖的多通道占用表示提取室内场景的拓扑图，然后使用自注意力转换器基于对象生成每个房间实例的CLIP对齐特征和语义标签。我们在房间分割和分类上的表现超过了当前最先进技术，我们的定性分析和消融研究揭示了联合结构和语义三维场景理解问题的见解。

    Apr, 2024

  • Point2Graph：一种基于点云的端到端三维开放词汇场景图生成框架用于机器人导航

    本研究解决了现有开放词汇场景图生成算法对RGB-D图像和相机姿态的依赖，限制了其在缺乏这些数据的场景下的应用。提出的Point2Graph框架消除了对RGB-D图像序列的需求，采用层次化设计，利用几何和学习相结合的方法进行房间和物体的检测与分类。评估结果表明，这一框架在主流实际场景数据集上的表现超过了当前的最先进算法。

    Sep, 2024