Mar, 2023

基于视觉的虚拟导航引导

PDF
TL;DR本文研究了虚拟指导对基于中级表示的导航的影响，探讨了不同形式的虚拟指导信号在导航性能方面的潜力，并使用 Unity 引擎构建了虚拟城市进行实验，结果表明虚拟指导提供了更有意义的导航信息，提高了路径完成率和导航效率。
virtual guidancenavigationvisual observationsvirtual navigation pathunity engine
发现论文，激发创造
  • 视觉预测作为避让的中层表示

    该研究介绍了一种创新的可视化预测方法，通过引入直观的视觉线索，将动态物体的未来轨迹投影出来，以改善智能体的感知能力并实现预测性行动，验证了该方法在动态环境中的可行性和有效性。

    Sep, 2023

  • 关于视觉语言导航指令的评估

    该研究发现 BLEU、ROUGE、METEOR 和 CIDEr 指标无法有效评估基于视觉与语言的导航生成器自动生成的导航指令，提出了一种不依赖参考指令的指令 - 轨迹相容性模型，并建议在有参考指令时使用 SPICE 进行评估。

    Jan, 2021

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • ViNG: 使用视觉目标学习开放世界导航

    提出了一个基于学习的导航系统，该系统应用于实际移动机器人平台，旨在使机器人通过学习来了解环境和导航便利性，以便在视觉引导下实现目标点的导航，经过实地测试和应用，该系统的表现优于其他以强化学习和搜索为基础的方法。

    Dec, 2020

  • 利用反馈的实体视觉导航鲁棒性

    本文提出了一个培训框架，用于训练代理在物体目标导航任务中主动寻求帮助，并提供有反馈的目标物体在其视野中的位置。为了使代理更加鲁棒，该培训课程包括具有和没有反馈的情节混合。结果表明，即使没有反馈，在这个方法的帮助下，代理的表现也得到了提高。

    Mar, 2023

  • 具身视觉导航的深度学习：一项综述

    综述了目前关于具有各种智能技能的智能机器人在 3D 环境中进行导航的研究领域，着重介绍了在这一领域内的各种高级技能，例如：感知局部观察视觉输入，理解跨模态的指令等等，并探讨了未来的研究方向及挑战。

    Jul, 2021

  • 连续环境下视觉语言导航的语言对齐航点（LAW）监督

    本文针对视觉语言导航任务提出了一种基于自然语言的导航方法，通过一个新的衡量指标来度量环境导航中代理人遵循指令的准确度。

    Sep, 2021

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 基于视觉和地理线索的千米级导航技术 ViKiNG

    本论文提出了一种结合了学习和规划的方法，名为 ViKiNG，其可以利用道路框图和 GPS 坐标等侧面信息作为规划启发式，通过遍历性模型来推断子目标是否可达，通过启发式模型来评估子目标的合适性，从而确定达到最终目标的最佳路径。实验证明，尽管训练数据集中从未出现超过 80 米的轨迹，ViKiNG 可以导航到之前未见过的环境中的距离达 3 公里的目标，表现出探测潜在路径和回溯的复杂行为，而且对不可靠的地图和 GPS 信号也十分稳定。

    Feb, 2022

  • 视觉语言导航智能体的行为分析

    为了成功，视觉语言导航（VLN）代理人必须能够根据周围环境将指令与行动联系起来。本研究开发了一种研究基于技能的代理人行为的方法，检查现有代理人在停止、转向和移动向指定对象或房间方面如何准确地进行指令的实施。我们的方法基于生成针对不同技能的干预措施，并测量代理人预测的变化。我们展示了一个详细的案例研究，分析了最新代理人的行为，然后比较了多个代理人在技能特定的能力评分方面。这种分析表明，训练中的偏见对代理人的行为具有持久影响，并且现有的模型能够建立简单的指称表达式。我们在模型之间的比较中发现，技能特定的评分与整体 VLN 任务表现的改进相关。

    Jul, 2023