Mar, 2024

零样本实例导航的优先语义学习

PDF
TL;DR我们提出了一种优先语义学习（PSL）方法，通过引入语义增强的 PSL 代理和优先语义训练策略来提高导航代理的语义理解能力，并设计了语义扩展推理方案以保持与训练相同的目标语义粒度级别。此外，针对流行的 HM3D 环境，我们提出了一个实例导航（InstanceNav）任务，需要根据详细描述前往特定的对象实例，与仅通过目标类别定义目标的对象导航（ObjectNav）任务不同。我们的 PSL 代理在零样本 ObjectNav 的成功率上超过了先前的最优结果 66％，并且在新的 InstanceNav 任务上也表现优越。代码将在此 https 网址上发布：science/r/PSL/。
zero-shot instance navigationsemantic understandingprioritized semantic learninginstance navigationobject navigation
发现论文，激发创造
  • 零样本物体导向视觉导航

    本文研究了零样本对象目标视觉导航任务，并提出了一种基于语义相似性网络的新型框架，用于在未训练过的类中引导机器人查找目标，通过在 AI2-THOR 平台上进行了广泛的实验，证明了我们模型的一般化能力强于基线模型。

    Jun, 2022

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 不训练你的龙：利用语义前沿进行无需训练的物体目标导航

    该篇论文介绍了一种模块化的训练免费方案，利用经典的 V-SLAM 框架构建结构化场景表示，并注入语义和统计信息，通过感知物体类别和语义信息指导智能体进行探索和导航任务。

    May, 2023

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 零经验要求：语义视觉导航的即插即用模块化迁移学习

    本研究提出了一种采用新型模块化迁移学习模型的视觉导航统一方法。该模型可以有效地利用从一个源任务积累的经验并将其应用于多个目标任务（例如，ObjectNav、RoomNav、ViewNav）以及具有各种目标模态（例如，图像、草图、音频、标签）的目标任务，同时实现了零点经验学习，这让模型可以在不接收任何任务特定的交互式训练的情况下解决目标任务。实验结果表明，与现有最优算法相比，我们的方法可以更快地学习，实现更好的泛化，并获得了明显的性能优势。

    Feb, 2022

  • 导航至特定图像所指示的对象

    本研究介绍了一个可以在仿真和现实实现物体到达任务的系统，该系统采用模块化方法解决了探索、目标识别、目标定位和本地导航等子任务，无需任何微调，实现了较高的成功率，并在移动机器人平台上展示了有效的实际性能。

    Apr, 2023

  • 具备场景先验知识的多智能体具身视觉语义导航

    本文提出了一种基于多智能体协作的视觉语义导航方法，通过分层决策框架、场景先验知识和通信机制，可以使多个机器人协同完成探索任务，并在测试实验中表现出与单一智能体模型相比更高的准确性和效率。

    Sep, 2021

  • PEANUT: 预测和导航到未知目标

    本文提出了一种学习环境中空间和语义规律的简单方法，通过从不完整的语义地图中预测未观测对象的位置来实现。该方法可以轻松地使用少量数据进行监督式训练，并可以在没有强化学习的情况下，将模型融入到 ObjectNav 的模块化流程中，该模型在 HM3D 和 MP3D ObjectNav 数据集上取得了最佳成果。

    Dec, 2022

  • 神经拓扑 SLAM 用于视觉导航

    本文研究图像目标导航问题，提出了一种基于拓扑表示法、语义特征和监督学习算法的解决方案，在视觉和物理仿真实验中部署该算法，与现有方法相比，在长时间任务中呈现出 50％以上的相对提高。

    May, 2020

  • 使用语义地图监督学习导航视觉表征

    我们提出了一种新颖的导航特定的视觉表示学习方法，通过对比代理的自我中心视图和语义地图（Ego$^2$-Map），将地图中的紧凑且丰富的信息转移到代理的自我中心表示中，从而实现室内导航。我们的实验结果表明，采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法，并且我们的表示显著改善了连续环境下的视觉和语言导航，在高级和低级行动空间上均取得了 47％的 SR 和 41％的 SPL 的最新最佳结果。

    Jul, 2023