Apr, 2020

超越导航图：在连续环境中进行视觉与语言导航

PDF
TL;DR开发了一个语言引导的导航任务，放在一个连续的三维环境中，在这里智能体必须执行低级动作来遵循自然语言导航方向，这一设定消除了以前关于环境的假设，特别是放弃了已知环境拓扑的假设、短程神谕导航的假设和完美代理定位的假设，我们还开发了一些模型来模拟以前的工作，并进行了单模态基线测试，发现在这一连续环境中的性能明显较低，这表明以前的 “导航 - 图形” 设定中的性能可能被假设过高评价了。
language-guided navigationcontinuous 3d environmentlow-level actionsnatural language navigation directionsprior work assumptions
发现论文，激发创造
  • 连接视觉与语言导航中离散与连续环境下学习的鸿沟

    提出了一种预测器来解决视觉和语言导航领域中离散环境与连续环境之间的差异，该预测器可以生成候选的路径点，极大地提升了机器人在连续环境下的导航表现。

    Mar, 2022

  • 连续环境下基于指令导航的航点模型

    使用语言指导下的路径规划，研究机器人领域中的导航方式和交互问题。通过变换不同的机器学习模型，来探索不同的路径预测方法，并发现在 navigation metrics 上，更具表现力的模型能够帮助机器人找到更优秀、更简单、更快速的路径，而低层动作则能够通过近似最短路径来获取更好的路径规划结果。

    Oct, 2021

  • 基于图形的连续环境中视觉语言导航的环境表征

    本研究介绍了一种基于环境表示图（ERG）的跨模式注意力导航模型来解决语言说明与环境之间的联系问题，并在 VLN-CE 任务的成功率方面表现出令人满意的表现。

    Jan, 2023

  • ETPNav：连续环境下视觉语言导航的进化拓扑规划

    本研究提出了 EPTNav 探索实现连续环境下视觉语言导航的方法和框架，该框架着重于生成长距离导航计划和在连续环境中进行避障控制，并利用拓扑地图和指令生成自主导航计划。实验证明该方法的有效性，并在 R2R-CE 和 RxR-CE 数据集上分别获得超过 10% 和 20% 的改进。

    Apr, 2023

  • LangNav: 语言作为导航的知觉表示

    以语言作为感知表示来进行视觉和语言导航，探索了离线的视觉系统，将各个时间步骤的视角转换为自然语言描述，并微调预训练的语言模型来选择能够最好地满足导航指令的行动，以语言作为感知表示在导航任务中具有潜力。

    Oct, 2023

  • 基于连续环境下视觉语言导航的模拟到模拟转移

    这篇论文探讨了如何通过迁移学习将抽象的 VLN 任务应用到真实的 VLN-CE 任务中，提高了原先 VLN-CE 任务的成功率，但并没有完全保持抽象环境下的表现，并且通过一系列实验找出了导致性能降低的原因，并提供了进一步改进的清晰方向。

    Apr, 2022

  • 连续环境下视觉语言导航的语言对齐航点（LAW）监督

    本文针对视觉语言导航任务提出了一种基于自然语言的导航方法，通过一个新的衡量指标来度量环境导航中代理人遵循指令的准确度。

    Sep, 2021

  • 持续视觉与语言导航

    以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Episodic Self-Replay (ESR) 两种基于回放的新方法，通过广泛实验验证了所提方法的有效性。

    Mar, 2024

  • 层次化跨模态机器人视觉语言导航智能体

    该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

    Apr, 2021

  • 进化图形规划器：为视觉语言导航提供上下文全局规划

    本研究基于原始传感器输入，引入了进化图式计划者 (Evolving Graphical Planner，EGP) 模型，其能够以更灵活的决策空间，为导航执行全局规划， 并在具有照片级真实感的图像上的 Vision-and-Language Navigation (VLN) 任务中取得了优异的性能。

    Jul, 2020