QueSTMaps:可查询的二维场景语义拓扑地图
通过室内环境中的具身导航,提出了一种语义区域绘图的方法,通过视觉 - 语言模型向导绘图,将自身场景理解映射到全局框架上,生成具有高级代理知识的语义地图,实现自主地图生成。在逼真模拟器的实验中,该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。
Mar, 2024
本文讨论了智能机器人如何同时理解环境的几何和语义属性,以构建包含物体级别实体和基于点或网格的几何表示的环境地图。作者的系统结合 RGB-D SLAM、深度学习目标检测和 3D 非监督分割等技术,同时构建几何点云模型和包含这些物体模型的地图。
Sep, 2016
提出了一种基于 2D 和 3D SLAM 网络结合的实时语义地图方法,通过重新投影及渲染后进行特征融合,以及一种利用表面法线的几何分割方法来整合 3D 语义元素,并使用新型的神经网络进行轻量级的语义地图后处理,实现了在不同深度感应器方面的性能表现和交叉传感器通用性方面的优化。
Jun, 2023
我们介绍了一种在线的二维到三维语义实例映射算法,旨在生成适用于非结构化环境中的自主代理的全面、准确且高效的语义三维地图。该方法基于最近算法中使用的 Voxel-TSDF 表示,引入了在映射过程中集成语义预测置信度的新方法,产生了语义和实例一致的三维区域。通过基于图优化的语义标记和实例细化,进一步提高了准确性。该方法在公共大规模数据集上的准确性优于现有技术,改进了一些广泛使用的度量标准。我们还指出了最近研究评估中的一个问题:使用真实轨迹作为输入而不是 SLAM 估计的轨迹,这对准确性产生了重大影响,导致了报告结果与实际在实际数据上的性能之间存在很大差距。
Sep, 2023
通过多级验证的对象级数据关联方法和基于二次曲面对象地图拓扑结构的语义闭环方法,我们将其整合到一个完整的对象感知 SLAM 系统中,并在定性实验和定量实验中验证了其有效性、稳健性以及在精度、召回率和定位精度等度量指标上优于现有方法。
Nov, 2023
利用语音指令完成机器人自主导航的一个重要任务是构建具备层级空间表示能力的智能移动机器人。为此,研究者提出了一种基于概率生成模型的层级空间表示方法 SpCoTMHP,并相应的提出了一种路径规划方法,实现了机器人与人类之间的交互通信,提高了导航性能和降低了计算成本。
Mar, 2022
人类善于形成心理地图以理解物体关系和通过语言查询导航;此论文通过提出基于 3D 的实例级方法提高语言引导任务的成功率,并在定量和定性结果上获得显著改善。
Apr, 2024
使用学习方法,结合语义地图进行室内导航,预测超出视野范围的置信度地图和目标点,模型可根据建筑模式和风格规律在新环境中进行导航,将房间导航任务简化为点导航可提高性能。
Jul, 2020
本研究介绍了一种新的方法,将多尺度的 CLIP (对比性语言 - 图像预训练) 特征在线嵌入到 3D 地图中,通过利用 CLIP,该方法克服了传统的词汇有限方法的限制,并将语义信息融入到生成的地图中,从而高效地计算和嵌入多尺度 CLIP 特征,并且通过将 CLIP 特征嵌入到结果地图中,实现了离线检索和实时对象搜索,进一步提出了一种基于地图方法的零样本对象 - 目标导航系统,并通过对象 - 目标导航、离线对象检索和多对象 - 目标导航在模拟环境和真实机器人实验中验证了其有效性,结果表明,我们的方法不仅在地图生成方面表现出更快的性能,而且在对象 - 目标导航任务的成功率方面也超过了现有的最先进方法。
Mar, 2024