Jul, 2023

使用语义地图监督学习导航视觉表征

PDF
TL;DR我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。
visual navigationvisual representation learningegocentric viewssemantic mapsvisual pre-training
发现论文，激发创造
  • 基于技能的视觉物体导航的交互式语义地图表示

    使用学习方法的视觉对象导航是移动机器人的关键任务之一，本文介绍了一种在与室内环境进行混合体互动过程中形成的场景语义地图的新表示方法，该方法基于神经网络通过反向或正向图像序列上的预测融合损失值的反向传播来调整分割模型的权重。我们将此表示方法实现到一种名为 SkillTron 的完整导航方法中，该方法可以根据强化学习和基于地图的经典规划方法从端到端策略中选择机器人技能。所提出的方法能够为机器人探索制定中间目标和对象导航制定最终目标，我们在 Habitat 环境中对所提出的方法进行了大量实验，在导航质量指标方面表现出明显的优势，与现有技术方法相比。所开发的代码和使用的自定义数据集可以在 github.com/AIRI-Institute/skill-fusion 上公开获取。

    Nov, 2023

  • 面向语义目标驱动导航的视觉表征

    本研究主要探讨了如何在复杂环境下使用语义视觉导航技术，通过使用实时现成的高级语义和语境特征来训练深度神经网络的方式进行导航决策，并通过将现实和虚拟数据的特征表示结合起来提高模型的学习效果达到更高的导航性能。

    May, 2018

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 在室内环境中进行高层语义区域划分而无需物体识别

    通过室内环境中的具身导航，提出了一种语义区域绘图的方法，通过视觉 - 语言模型向导绘图，将自身场景理解映射到全局框架上，生成具有高级代理知识的语义地图，实现自主地图生成。在逼真模拟器的实验中，该方法在大量基线方法中明显优于基于对象的系统和预训练场景分类器。

    Mar, 2024

  • 具备场景先验知识的多智能体具身视觉语义导航

    本文提出了一种基于多智能体协作的视觉语义导航方法，通过分层决策框架、场景先验知识和通信机制，可以使多个机器人协同完成探索任务，并在测试实验中表现出与单一智能体模型相比更高的准确性和效率。

    Sep, 2021

  • 利用导航信息学习视觉表示

    本研究旨在利用空间和时间的信息来改善自我监督学习，以提高分类性能。我们设计了一种流程来生成来自 ThreeDWorld 的自我视觉图像并记录相关的导航信息。修改动量对比（MoCo）模型，以代替实例区分进行预训练阶段中两个视图的相似性评估。结果显示，对比实例区分方法，本方法优于自我监督训练状态下的性能.

    Feb, 2022

  • 语义地图网络：从自我视角构建客观语义地图和表征

    本文研究了使用 RGB-D 摄像机生成半自主构建环境场所的含义地图，提出 SemanticMapNet，结合了摄像机几何和神经表示学习，可在自主导览、物品寻找和对环境的问题回答等任务中有更好的表现。

    Oct, 2020

  • 基于语义和 RGB 自我视角的目标导航

    本文提出了一种使用语义决策使得服务机器人在室内环境中进行导航的架构和方法，使用 GeoSem 映射和以 RGB 为自我视角的相机感知。该方法通过考虑机器人的能动性和场景、物体及其关系的语义表示来指导机器人导航，实验结果表明该方法在游戏化评估中的平均完成时间上优于人类用户。

    Oct, 2022

  • 机器人导航的视觉语言地图

    本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

    Oct, 2022

  • 神经拓扑 SLAM 用于视觉导航

    本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

    May, 2020