ECCVAug, 2020

利用场景特定特征进行物体目标导航

PDF
TL;DR本文研究了在复杂的家庭环境中，物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型，该模型可以定量地利用场景和物体之间的相关性，从而能够实现导航模型的快速训练和更好的性能。
object navigationvisual navigation taskreduced datasetnavigation modelssmtsc model
发现论文，激发创造
  • 利用丰富语义表示的面向对象的视觉导航目标

    利用丰富的语义表示和基于目标的对象训练机器人进行视觉导航，证明该方法可以在短时间内使机器人对新的目标和未见过的场景进行泛化。

    Nov, 2018

  • 基于大型语言模型的房间 - 物体关系知识在增强多模态输入目标导航中的应用

    利用大型语言模型提取知识，我们在多通道 Swin-Unet 架构的基础上，使用数据驱动的、基于模块的方法进行多任务学习，从而实现了有效的目标导航，超过了基准模型平均 10.6% 的效率指标（SPL），并在现实世界的演示中展示了该方法在穿越多个房间时的高效性。

    Mar, 2024

  • 空间注意力视觉导航

    本研究对物体目标视觉导航进行了研究，旨在通过强化学习算法学习智能体的策略。我们提出了一种新的注意概率模型来改进代理策略，并在常用数据集上取得了最先进的结果。

    Apr, 2021

  • 具备场景先验知识的多智能体具身视觉语义导航

    本文提出了一种基于多智能体协作的视觉语义导航方法，通过分层决策框架、场景先验知识和通信机制，可以使多个机器人协同完成探索任务，并在测试实验中表现出与单一智能体模型相比更高的准确性和效率。

    Sep, 2021

  • 通过指导提升结构化探索实现物体导航

    本文提出了一种层次化学习方法，包括高层的规划和记忆以及低层的房间导航和物品寻找，通过简单的合成语言为代理提供指令，同时使用另一个目标评估模块将指令映射到视觉观察中。在一个动态可配置的家庭环境中验证了该方法的有效性。

    Nov, 2022

  • SOAT: 一种面向场景和对象感知的视觉语言导航变换器

    本论文提出了一个基于 transformer 的视觉与语言导航（VLN）代理，使用两种不同的视觉编码器，即场景分类网络和对象检测器，它们能匹配这两种不同类型的视觉提示，进而通过视觉和语言的预训练实现通向 Room-to-Room（R2R）和 Room-Across-Room（RxR）存在显著改进的效果。

    Oct, 2021

  • 基于目标导向语义探索的目标导航

    该研究提出了 Goal-Oriented Semantic Exploration 系统，通过构建基于目标对象类别的情节语义地图来有效探索环境，该模型在模拟环境和移动机器人平台中实现了物体目标导航的优异表现。

    Jul, 2020

  • 主动语义目标导航的映射学习

    本文提出了一种通过主动学习生成语义地图的框架，在未知环境下实现目标物体导航，通过在未观察区域内的语义类别的不确定性进行决策，实现了对场景中语义优先级的学习，并在 Matterport3D 数据库上验证了改进的导航效果。

    Jun, 2021

  • 用于物体目标导航的对象记忆变换器

    本研究针对三维室内环境目标物体导航，提出了一种基于强化学习方法的 Object Memory Transformer (OMT). 通过本方法在 AI2-THOR 数据集上的实验结果表明，OMT 能够优于以往方法，高效地导航以及实现目标。

    Mar, 2022

  • 递归隐式地图的目标导航

    我们在这篇论文中提出了一种隐式空间地图的目标导航方法，使用 transformer 递归更新隐式地图，并通过辅助任务训练模型，以重构显式地图、预测视觉特征、语义标签和动作。我们的方法在挑战性的 MP3D 数据集上显著优于最先进方法，并且在 HM3D 数据集上具有良好的泛化能力。我们成功地在真实机器人上部署了模型，并在真实场景中只使用了几个真实世界的演示来实现令人鼓舞的目标导航结果。

    Aug, 2023