Apr, 2023

ETPNav：连续环境下视觉语言导航的进化拓扑规划

PDF
TL;DR本研究提出了 EPTNav 探索实现连续环境下视觉语言导航的方法和框架，该框架着重于生成长距离导航计划和在连续环境中进行避障控制，并利用拓扑地图和指令生成自主导航计划。实验证明该方法的有效性，并在 R2R-CE 和 RxR-CE 数据集上分别获得超过 10% 和 20% 的改进。
vision-language navigationetpnavcontinuous environmentstopological mappingobstacle-avoiding control
发现论文，激发创造
  • 使用 Transformer 的拓扑规划实现视觉语言导航

    本文介绍了一种基于模块化方法的视觉和语言导航技术，使用拓扑地图和注意机制来生成导航计划，并通过低级动作执行控制器实现。实验证明，该方法在自由遍历环境下优于以往的端到端方法。

    Dec, 2020

  • 进化图形规划器：为视觉语言导航提供上下文全局规划

    本研究基于原始传感器输入，引入了进化图式计划者 (Evolving Graphical Planner，EGP) 模型，其能够以更灵活的决策空间，为导航执行全局规划， 并在具有照片级真实感的图像上的 Vision-and-Language Navigation (VLN) 任务中取得了优异的性能。

    Jul, 2020

  • 基于图形的连续环境中视觉语言导航的环境表征

    本研究介绍了一种基于环境表示图（ERG）的跨模式注意力导航模型来解决语言说明与环境之间的联系问题，并在 VLN-CE 任务的成功率方面表现出令人满意的表现。

    Jan, 2023

  • 超越导航图：在连续环境中进行视觉与语言导航

    开发了一个语言引导的导航任务，放在一个连续的三维环境中，在这里智能体必须执行低级动作来遵循自然语言导航方向，这一设定消除了以前关于环境的假设，特别是放弃了已知环境拓扑的假设、短程神谕导航的假设和完美代理定位的假设，我们还开发了一些模型来模拟以前的工作，并进行了单模态基线测试，发现在这一连续环境中的性能明显较低，这表明以前的 “导航 - 图形” 设定中的性能可能被假设过高评价了。

    Apr, 2020

  • 持续视觉与语言导航

    以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Episodic Self-Replay (ESR) 两种基于回放的新方法，通过广泛实验验证了所提方法的有效性。

    Mar, 2024

  • 基于连续环境下视觉语言导航的模拟到模拟转移

    这篇论文探讨了如何通过迁移学习将抽象的 VLN 任务应用到真实的 VLN-CE 任务中，提高了原先 VLN-CE 任务的成功率，但并没有完全保持抽象环境下的表现，并且通过一系列实验找出了导致性能降低的原因，并提供了进一步改进的清晰方向。

    Apr, 2022

  • 连接视觉与语言导航中离散与连续环境下学习的鸿沟

    提出了一种预测器来解决视觉和语言导航领域中离散环境与连续环境之间的差异，该预测器可以生成候选的路径点，极大地提升了机器人在连续环境下的导航表现。

    Mar, 2022

  • RxR-Habitat 视觉与语言导航竞赛 (CVPR 2022) 第一名解决方案

    该研究通过引入候选路标预测器、历史增强的路径规划器和试错控制器，提出了一种模块化的规划和控制方法，以解决基于视听导航的连续环境中的目标到达问题。该方法在 RxR-Habitat 比赛中获胜，并相对于现有方法在 NDTW 和 SR 指标上分别提高了 48% 和 90%。

    Jun, 2022

  • 连续环境下基于指令导航的航点模型

    使用语言指导下的路径规划，研究机器人领域中的导航方式和交互问题。通过变换不同的机器学习模型，来探索不同的路径预测方法，并发现在 navigation metrics 上，更具表现力的模型能够帮助机器人找到更优秀、更简单、更快速的路径，而低层动作则能够通过近似最短路径来获取更好的路径规划结果。

    Oct, 2021

  • DREAMWALKER：持续视觉语言导航的心智规划

    通过构建一个基于世界模型的 VLN-CE 代理程序，DREAMWALKER 能够在内部抽象世界中模拟和评估可能的计划，实现智能导航和透明的决策过程。

    Aug, 2023