Feb, 2024

一个考虑地标的视觉导航数据集

PDF
TL;DR通过专家演示学习的地图表示已经显示出很大的研究价值。然而，由于缺乏真实世界中的人类数据集以有效监督环境学习的可视化导航领域近期发展面临挑战。我们提出了一个地标感知的视觉导航（LAVN）数据集，以便进行人类中心探索策略和地图构建的监督学习。我们收集了 RGB 观测和人类点击配对，人类标注者在虚拟和真实环境中进行探索，并以全覆盖探索空间为目标。人类标注者还提供了每个轨迹上的不同地标示例，我们直观地认为这将简化地图或图的构建和定位任务。当学习在环境中进行探索时，这些人类点击作为路径点的直接监督。我们的数据集涵盖了广泛的场景，包括室内环境中的房间和室外的走道。数据集可在 DOI：10.5281/zenodo.10608067 上获得。
发现论文，激发创造
  • CityNav: 具备地理信息的语言目标空中导航数据集

    通过真实世界的城市的三维点云表示，CityNav 数据集提供了 32,637 个自然语言描述与人类演示轨迹的配对，作为语言目标的航空导航的新数据集。该数据集揭示了以下关键发现：（一）在航空代理模型上，基于人类演示轨迹的训练优于最短路径轨迹的训练，突出了人类驱动导航策略的重要性；（二）在城市尺度上，二维空间地图的整合显著提高了导航效率。

    Jun, 2024

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022

  • 统一地图和基于地标的视觉导航表示

    提出了一种视觉导航的公式，该公式将基于地图的空间推理和路径规划与基于地标的稳健计划执行融合，该公式基于数据学习，能够高效地导航在新颖环境中，针对模拟现实世界环境进行了测试并报告了竞争基线方法的性能提高。

    Dec, 2017

  • 通过语义更丰富的指令来弥补 VLN 中的视觉差距

    本文介绍了数据扩充方法以改善现有的人工智能模型在 VLN 任务中性能表现不佳的问题，该方法利用了 Matterport3D 数据集中的元数据信息来引导新的导航指令的生成，并在未见过的环境中使性能提高了 8%。

    Oct, 2022

  • 通过大型模型进行视觉语言导航中的可纠正的地标发现

    Vision-Language Navigation (VLN) requires the agent to align landmarks based on instruction and visual observations. This paper proposes CONSOLE, a new paradigm that treats VLN as an open-world landmark discovery problem, utilizing large models ChatGPT and CLIP for accurate alignment and observation enhancement to achieve state-of-the-art results on multiple VLN benchmarks.

    May, 2024

  • 人类感知视觉 - 语言导航：通过动态人类交互缩小模拟与现实之间的鸿沟

    Vision-and-Language Navigation involves developing embodied agents that navigate based on human instructions. This paper introduces Human-Aware Vision-and-Language Navigation by incorporating dynamic human activities and relaxing key assumptions, utilizing the HA3D simulator, HA-R2R dataset, Expert-Supervised Cross-Modal, and Non-Expert-Supervised Decision Transformer agents for effective navigation in dynamic human environments.

    Jun, 2024

  • 从 YouTube 视频中学习视觉与语言导航

    通过利用大规模的房屋导览视频数据集，本文提出了一种视觉语言导航方法，使用自动构建的路径指令对训练的代理进行预训练，并利用视频中的布局信息来提高导航的泛化性能。通过实验结果表明，该方法在两个流行的基准测试（R2R 和 REVERIE）上取得了最先进的性能。

    Jul, 2023

  • Google Landmarks 数据集 v2 -- 一个用于实例级别识别和检索的大规模基准测试

    本文介绍了 Google Landmarks Dataset v2 (GLDv2)，它是迄今为止最大的数据集，在人工制造和自然地标的领域内进行了大规模的、细粒度的实例识别和图像检索，并具有极长的类分布、大量的测试相片以及大内部类的变异性等具有挑战性的特性。

    Apr, 2020

  • IVLMap: 消费级机器人导航的实例感知视觉语言定位

    通过构建语义空间地图和使用大型语言模型的强大推理能力，我们提出了一种新的方法 IVLMap，使机器人能够获得实例级和属性级的语义映射，从而实现了精确定位和零 - shot 端到端导航任务的能力，并在导航准确性上实现了 14.4% 的平均改进。

    Mar, 2024

  • 视觉语言导航的体积环境表示

    基于视觉观察和自然语言指令，本论文提出了一种基于体素化环境表示的视觉语言导航模型，在多任务学习的影响下，预测 3D 占用、3D 房间布局和 3D 边界框，并通过在线采集的环境表示进行体积状态估计和建立序列记忆，取得了在 VLN 基准测试（R2R，REVERIE 和 R4R）上最先进的性能。

    Mar, 2024