Mar, 2022

连接视觉与语言导航中离散与连续环境下学习的鸿沟

PDF
TL;DR提出了一种预测器来解决视觉和语言导航领域中离散环境与连续环境之间的差异，该预测器可以生成候选的路径点，极大地提升了机器人在连续环境下的导航表现。
vision-and-language navigationdiscrete-to-continuous gapwaypoints predictorgeneralization abilitystate-of-the-art results
发现论文，激发创造
  • 超越导航图：在连续环境中进行视觉与语言导航

    开发了一个语言引导的导航任务，放在一个连续的三维环境中，在这里智能体必须执行低级动作来遵循自然语言导航方向，这一设定消除了以前关于环境的假设，特别是放弃了已知环境拓扑的假设、短程神谕导航的假设和完美代理定位的假设，我们还开发了一些模型来模拟以前的工作，并进行了单模态基线测试，发现在这一连续环境中的性能明显较低，这表明以前的 “导航 - 图形” 设定中的性能可能被假设过高评价了。

    Apr, 2020

  • 连续环境下基于指令导航的航点模型

    使用语言指导下的路径规划，研究机器人领域中的导航方式和交互问题。通过变换不同的机器学习模型，来探索不同的路径预测方法，并发现在 navigation metrics 上，更具表现力的模型能够帮助机器人找到更优秀、更简单、更快速的路径，而低层动作则能够通过近似最短路径来获取更好的路径规划结果。

    Oct, 2021

  • 基于连续环境下视觉语言导航的模拟到模拟转移

    这篇论文探讨了如何通过迁移学习将抽象的 VLN 任务应用到真实的 VLN-CE 任务中，提高了原先 VLN-CE 任务的成功率，但并没有完全保持抽象环境下的表现，并且通过一系列实验找出了导致性能降低的原因，并提供了进一步改进的清晰方向。

    Apr, 2022

  • 基于图形的连续环境中视觉语言导航的环境表征

    本研究介绍了一种基于环境表示图（ERG）的跨模式注意力导航模型来解决语言说明与环境之间的联系问题，并在 VLN-CE 任务的成功率方面表现出令人满意的表现。

    Jan, 2023

  • 持续视觉与语言导航

    以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Episodic Self-Replay (ESR) 两种基于回放的新方法，通过广泛实验验证了所提方法的有效性。

    Mar, 2024

  • 层次化跨模态机器人视觉语言导航智能体

    该研究论文提出了一种基于连续三维重建环境的机器人视觉和语言导航（Robo-VLN）的设定，并利用分层决策，模块化训练和分离推理和模仿的策略，成功地解决了 Robo-VLN 这一新任务。通过使用 HCM 代理，研究者展示了比现有基线效果更好的结果，为 Robo-VLN 创造了新的基准。

    Apr, 2021

  • ETPNav：连续环境下视觉语言导航的进化拓扑规划

    本研究提出了 EPTNav 探索实现连续环境下视觉语言导航的方法和框架，该框架着重于生成长距离导航计划和在连续环境中进行避障控制，并利用拓扑地图和指令生成自主导航计划。实验证明该方法的有效性，并在 R2R-CE 和 RxR-CE 数据集上分别获得超过 10% 和 20% 的改进。

    Apr, 2023

  • RxR-Habitat 视觉与语言导航竞赛 (CVPR 2022) 第一名解决方案

    该研究通过引入候选路标预测器、历史增强的路径规划器和试错控制器，提出了一种模块化的规划和控制方法，以解决基于视听导航的连续环境中的目标到达问题。该方法在 RxR-Habitat 比赛中获胜，并相对于现有方法在 NDTW 和 SR 指标上分别提高了 48% 和 90%。

    Jun, 2022

  • 视觉语言导航的模拟与实际转化

    本文旨在研究如何将视觉 - 语言导航技术 (VLN) 从模拟场景应用于物理机器人，并提出了使用子目标模型和领域随机化等方法，以提升在未知环境下的表现。作者在 325 平方米的办公室内进行实验，结果表明，在提前采集和注释了占用图和导航图的情况下，模拟 - to - 真实的转移成功率可达 46.8%，而完全没有先前信息的情况下，转移成功率仅有 22.5%。

    Nov, 2020

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022