Jun, 2024

未知之地：生成新环境的地理描述

PDF
TL;DR通过构建基于地理空间数据的知识图谱，利用上下文无关文法（CFG）和大型语言模型 (LLM) 生成导航指令，本研究提出了一种用于生成高质量合成数据的大规模增强方法，以解决新环境下训练数据不足的问题。结果显示，通过 CFG 增强训练的模型在未知环境和已知环境中均取得了更优异的性能，这表明在未知领域中，显式结构化空间信息的文本地理推理具有潜在的优势，可以应用于数据稀缺的场景。
vision-and-language navigationrendezvous taskgeospatial datasynthetic data generationspatial information structuring
发现论文，激发创造
  • 从自然空间描述进行多尺度非中心关系推理，我们接下来要做什么？

    本文介绍了 Rendezvous（RVS）任务和数据集，包括 10,404 个例子的英文地理空间指令，用于利用地图知识到达目标位置。我们的分析显示，RVS 具有更丰富的空间分配关系使用，与之前基于文本的导航基准相比，需要同时解决更多的空间关系。

    Feb, 2024

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 分析视觉和语言导航在未知的室外区域中的泛化能力

    本研究探讨了在室外场景中，视觉代理如何跨越未知地形实现指令导航，发现与室内情况相比，图形化表达方式对室外导航具有更大的影响，因此未来的研究需关注在不同地形环境中的规模和多样性增长。

    Mar, 2022

  • 基于层次空间接近原理的视觉语言导航

    该论文提出了一种基于 Hierarchical Spatial Proximity Reasoning（HSPR）模型的视觉语言导航算法，通过引入 Scene Understanding Auxiliary Task（SUAT）来构建空间接近性知识库，利用 Multi-step Reasoning Navigation Algorithm（MRNA）进行路径规划，并通过引入 Proximity Adaptive Attention Module（PAAM）和 Residual Fusion Method（RFM）提高导航决策的准确性。实验证明了该方法的有效性。

    Mar, 2024

  • 沿着风景路线前行：提高视觉语言导航的泛化能力

    通过对房间到房间的导航 (VLN) 基准进行研究，发现数据加工的方式很重要。我们发现最短路径采样在动作空间中编码偏见，从而解释了现有方法推广能力差的原因。为了减轻这种偏见，我们提出了一种基于随机游走的路径采样方法来增强数据，通过这种方法训练代理，其相比基线，能够更好地推广到未知环境，从而显着提高模型性能。

    Mar, 2020

  • 视觉与语言导航中的数据生成扩展

    通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了 80％，并将在已见和未见环境中导航的泛化差距降低到不到 1％。

    Jul, 2023

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022

  • 机器人导航的视觉语言地图

    本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

    Oct, 2022

  • 利用自监督辅助推理任务的视觉语言导航

    本文提出了一种基于自我监督的辅助推理导航（AuxRN）框架，使用四个辅助推理任务来利用语义信息，通过这些额外训练信号来帮助代理获取语义表示的知识以便进行推理，进而建立对环境的全面感知，该方法在标准基准测试中实现了最佳效果，显著优于现有的最先进方法。

    Nov, 2019