Sep, 2023

寻找您所需的：为需求驱动导航学习需求条件的物体属性空间

PDF
TL;DR通过 Contrastive Language-Image Pre-training（CLIP） 基于视觉属性特征，我们提出了一种 Demand-driven Navigation（DDN）方法，以满足用户对指定需求的物体的导航要求，并在 AI2Thor 的 ProcThor 数据集上展示了其比常见的 VON 基准方法更好的导航性能。
visual object navigationdemand-driven navigationmetadataddncontrastive language-image pre-training
发现论文，激发创造
  • 基于障碍地图的物体导航的两阶段深度增强学习

    通过使用 RGB 和深度信息进行预训练以及在两阶段奖励训练下输出导航动作，本研究在视觉物体导航中显著提高了成功率和导航效率。

    Jun, 2024

  • 利用场景特定特征进行物体目标导航

    本文研究了在复杂的家庭环境中，物体和房间之间的内在关系是否有助于视觉导航任务中的智能体。我们通过一个新的降低训练难度的数据集提出了一种基于关注力机制的模型，该模型可以定量地利用场景和物体之间的相关性，从而能够实现导航模型的快速训练和更好的性能。

    Aug, 2020

  • 将知识图谱与视觉感知对齐，进行物体目标导航

    提出了一种将知识图谱与视觉感知对齐的方法，通过连续建模场景结构和利用视觉 - 语言预训练来实现更准确和一致的场景描述，从而提供了非凡的零样本导航能力。

    Feb, 2024

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 语言增强对目标導向物体导航中的捷径学习问题进行应对

    深度强化学习在目标导航中面临了捷径学习的问题，我们提出了一种基于语言的增强方法，利用视觉 - 语言模型的多模态特征空间，在特征层面上增强视觉表示，成功解决了捷径学习的挑战。

    Feb, 2024

  • 面向视觉与语言导航的时空物体关系建模

    利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

    Mar, 2024

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 利用丰富语义表示的面向对象的视觉导航目标

    利用丰富的语义表示和基于目标的对象训练机器人进行视觉导航，证明该方法可以在短时间内使机器人对新的目标和未见过的场景进行泛化。

    Nov, 2018

  • 面向物体和动作的视觉语言导航模型

    本研究提出了一种针对 Vision-and-Language Navigation 中，不同类型自然语言信息处理的 Object-and-Action Aware Model，并设计了一种简单但有效的路径损失函数，以优化机器人在导航中的方向选择。实验结果在 R2R 数据集的 SPL 得分和在 R4R 数据集中的 CLS 得分方面显著超过现有技术。

    Jul, 2020

  • 面向任务的图注意力层次关系对象导航

    本研究基于场景图作为输入，以图神经网络为主干，集成任务驱动的注意机制，探寻分层关系对象导航任务，并证明其比现有技术有更好的可扩展性和学习效率。

    Jun, 2023