Nov, 2018

Touchdown: 视觉街景中的自然语言导航和空间推理

PDF
TL;DR本篇论文研究了通过导航和空间推理任务共同推理语言和视觉的问题，介绍了 Touchdown 任务和数据集，通过真实的城市环境中的导航指令和自然语言来寻找隐藏在目标位置的物体。数据集包含 9,326 个英文指令和空间描述的示例，经验性分析表明，数据对现有方法提出了开放性的挑战，定性的语言分析表明，与相关资源相比，数据利用了更丰富的空间推理。
发现论文，激发创造
  • Retouchdown: 在 StreetLearn 中增添 Touchdown，作为在街景中进行语言基础任务的可共享资源

    该研究发布了 Touchdown 数据集中所需的 29k 个原始街景全景照片，并提供了 Touchdown 任务的参考实现，利用这些街景全景照片可以有效地进行视觉与语言导航和空间描述解决。

    Jan, 2020

  • 通过对空间配置进行推理实现导航

    我们针对导航问题进行研究，提出了一种使用空间语义元素的神经代理导航模型，并探究了它们对导航代理的推理能力的影响。研究结果表明，指令中显式建模空间语义元素可以改善模型的基础和空间推理能力，并在已见及未见环境上取得了竞争性的性能。

    May, 2021

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • CityNav: 具备地理信息的语言目标空中导航数据集

    通过真实世界的城市的三维点云表示，CityNav 数据集提供了 32,637 个自然语言描述与人类演示轨迹的配对，作为语言目标的航空导航的新数据集。该数据集揭示了以下关键发现：（一）在航空代理模型上，基于人类演示轨迹的训练优于最短路径轨迹的训练，突出了人类驱动导航策略的重要性；（二）在城市尺度上，二维空间地图的整合显著提高了导航效率。

    Jun, 2024

  • 自然语言视觉推理

    本论文提出了一个自然语言视觉推理的任务，通过图片和描述语句的配对，预测描述语句在给定场景中的真假。该任务涉及自然语言、机器人代理、语言输入、视觉推理以及合成图像等方面。

    Oct, 2017

  • 右边” 在哪儿？：揭示视觉语言导航模型的限制

    通过一系列的简单遮盖实验，揭示了某些高性能模型仅依赖于指令的名词标记，并提出了两种训练方法来缓解这个问题。

    Nov, 2023

  • 视觉语言导航的模拟与实际转化

    本文旨在研究如何将视觉 - 语言导航技术 (VLN) 从模拟场景应用于物理机器人，并提出了使用子目标模型和领域随机化等方法，以提升在未知环境下的表现。作者在 325 平方米的办公室内进行实验，结果表明，在提前采集和注释了占用图和导航图的情况下，模拟 - to - 真实的转移成功率可达 46.8%，而完全没有先前信息的情况下，转移成功率仅有 22.5%。

    Nov, 2020

  • 未知之地：生成新环境的地理描述

    通过构建基于地理空间数据的知识图谱，利用上下文无关文法（CFG）和大型语言模型 (LLM) 生成导航指令，本研究提出了一种用于生成高质量合成数据的大规模增强方法，以解决新环境下训练数据不足的问题。结果显示，通过 CFG 增强训练的模型在未知环境和已知环境中均取得了更优异的性能，这表明在未知领域中，显式结构化空间信息的文本地理推理具有潜在的优势，可以应用于数据稀缺的场景。

    Jun, 2024

  • 穿梭于城市街道：一个新的现实城市导航数据集和基线模型

    本研究针对真实而密集的城市地图，基于 Amazon Mechanical Turk 平台数据，提出了一个解释自然语言导航指令的实验任务，根据实验结果，表明实体抽象、关注单词和环境、以及不断更新世界状态等神经构架方面对任务准确性有重要影响。

    Sep, 2019

  • 从自然空间描述进行多尺度非中心关系推理，我们接下来要做什么？

    本文介绍了 Rendezvous（RVS）任务和数据集，包括 10,404 个例子的英文地理空间指令，用于利用地图知识到达目标位置。我们的分析显示，RVS 具有更丰富的空间分配关系使用，与之前基于文本的导航基准相比，需要同时解决更多的空间关系。

    Feb, 2024