Oct, 2022

基于语义和 RGB 自我视角的目标导航

PDF
TL;DR本文提出了一种使用语义决策使得服务机器人在室内环境中进行导航的架构和方法，使用 GeoSem 映射和以 RGB 为自我视角的相机感知。该方法通过考虑机器人的能动性和场景、物体及其关系的语义表示来指导机器人导航，实验结果表明该方法在游戏化评估中的平均完成时间上优于人类用户。
service robotsemantic decision makinggeosem mapegocentric rgb cameranavigation
发现论文，激发创造
  • 在室内环境中进行高层语义区域划分而无需物体识别

    通过室内环境中的具身导航，提出了一种语义区域绘图的方法，通过视觉 - 语言模型向导绘图，将自身场景理解映射到全局框架上，生成具有高级代理知识的语义地图，实现自主地图生成。在逼真模拟器的实验中，该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。

    Mar, 2024

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 空间注意力视觉导航

    本研究对物体目标视觉导航进行了研究，旨在通过强化学习算法学习智能体的策略。我们提出了一种新的注意概率模型来改进代理策略，并在常用数据集上取得了最先进的结果。

    Apr, 2021

  • 面向对象语义地图的有意义地图绘制

    本文讨论了智能机器人如何同时理解环境的几何和语义属性，以构建包含物体级别实体和基于点或网格的几何表示的环境地图。作者的系统结合 RGB-D SLAM、深度学习目标检测和 3D 非监督分割等技术，同时构建几何点云模型和包含这些物体模型的地图。

    Sep, 2016

  • 基于在线语义重构的主动场景理解

    提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

    Jun, 2019

  • 基于技能的视觉物体导航的交互式语义地图表示

    使用学习方法的视觉对象导航是移动机器人的关键任务之一，本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法，该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中，该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标，我们在 Habitat 环境中对所提出的方法进行了大量实验，在导航质量指标方面表现出明显的优势，与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。

    Nov, 2023

  • 不训练你的龙：利用语义前沿进行无需训练的物体目标导航

    该篇论文介绍了一种模块化的训练免费方案，利用经典的 V-SLAM 框架构建结构化场景表示，并注入语义和统计信息，通过感知物体类别和语义信息指导智能体进行探索和导航任务。

    May, 2023

  • STAIR：语义目标驱动的主动隐式重建

    我们提出了一个新的框架，利用姿态化的 RGB-D 测量和 2D 语义标签作为输入，进行语义目标的主动重建，实现对感兴趣目标的自适应视角规划，从而在网格和新视角渲染质量方面实现更好的重建性能，超过不考虑语义的隐式重建基线和基于显式地图的最先进的语义目标主动重建流水线。

    Mar, 2024