CVPRMar, 2023

Meta-Explore：使用场景对象频谱基础的探索性分层视觉语言导航

PDF
TL;DR提出了 Meta-Explore 方法，该方法使用一种基于 2D 傅立叶变换的新型视觉表示方法 - 场景对象谱，结合了一种利用未探索状态的利用策略，以及带有语义信息的后悔探索方法，从而可以更好地解决 VLN 中跟随自然语言指令进行导航的问题，并在三个 VLN 基准测试中，Meta-Explore 相对于其他基线模型表现出更好的性能。
vision-and-language navigationmeta-exploreexploitation policyscene object spectrumvln benchmarks
发现论文，激发创造
  • 基于在线视觉语言映射的真实世界视觉语言导航

    在本文中，我们提出了一个在真实世界中解决 VLN 任务的新型导航框架，该框架利用强大的基础模型，并包括四个关键组成部分：(1) 将语言指令转换为预定义的宏操作描述的 LLMs-based 指令解析器，(2) 构建实时的视觉 - 语言地图以保持对未知环境的空间和语义理解的在线视觉 - 语言映射器，(3) 基于语言索引的定位器，将每个宏操作描述重新映射到地图上的路径点位置，以及 (4) 基于 DD-PPO 的本地控制器，用于预测动作。我们在未知的实验室环境中使用 Interbotix LoCoBot WX250 对提出的流程进行了评估，而无需进行任何细微调整，在真实世界中，我们的流程明显优于 SOTA VLN 基线。

    Oct, 2023

  • 视觉语言导航的主动信息收集

    该研究提出了一种基于人类导航行为的智能视觉语言导航策略，通过赋予代理人主动信息收集能力和学习探索策略来解决当前方法产生的不确定性问题和效率低下问题，实验证明该方法能显著提高导航性能。

    Jul, 2020

  • 连续的视觉语言导航中的前瞻探索及神经辐射表示

    利用预训练的分层神经辐射表示模型产生多层次语义特征，用于预测未来环境，提出前瞻导航模型以构建可导航的未来路径树并通过有效的并行评估选择最佳路径。

    Apr, 2024

  • 层次化跨模态机器人视觉语言导航智能体

    该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

    Apr, 2021

  • 离线强化学习在视觉和语言导航中的扩展

    通过使用次优示范数据进行视觉语言导航 (VLN) 的离线强化学习 (ORL) 研究，引入了一种简单且有效的奖励条件方法来训练 VLN 代理，并在该领域推动研究进展和评估。实验证明，即使在复杂和复杂的环境中，所提出的奖励条件方法也能显著提高性能。

    Mar, 2024

  • 分析视觉和语言导航在未知的室外区域中的泛化能力

    本研究探讨了在室外场景中，视觉代理如何跨越未知地形实现指令导航，发现与室内情况相比，图形化表达方式对室外导航具有更大的影响，因此未来的研究需关注在不同地形环境中的规模和多样性增长。

    Mar, 2022

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022

  • 具备语言预训练和随机采样的稳健导航

    本文提出了两种有效方法来改善视觉和语言导航 (VLN) 挑战中的指令表示和动作解码问题，一是使用大规模预训练语言模型来学习更好的文本表示，二是提出一种随机采样方案来减小训练和测试中动作的差距，从而使智能体可以在长序列的动作解码过程中学习自我纠正，将两项技术结合，成功地在 Room-to-Room 基准测试中取得了新的最优性能，以路径长度加权的成功率指标提高了 6% 绝对值 (47%—>53%)。

    Sep, 2019

  • 视觉语言导航智能体的行为分析

    为了成功，视觉语言导航（VLN）代理人必须能够根据周围环境将指令与行动联系起来。本研究开发了一种研究基于技能的代理人行为的方法，检查现有代理人在停止、转向和移动向指定对象或房间方面如何准确地进行指令的实施。我们的方法基于生成针对不同技能的干预措施，并测量代理人预测的变化。我们展示了一个详细的案例研究，分析了最新代理人的行为，然后比较了多个代理人在技能特定的能力评分方面。这种分析表明，训练中的偏见对代理人的行为具有持久影响，并且现有的模型能够建立简单的指称表达式。我们在模型之间的比较中发现，技能特定的评分与整体 VLN 任务表现的改进相关。

    Jul, 2023