ECCVMar, 2020

自然语言基础下跨环境多任务学习导航

PDF
TL;DR本研究提出从视觉语言导航和对话历史导航两个任务中学习的多任务导航模型，同时还探索了一种用于导航策略的环境无关表示法，并证明环境无关多任务学习可以显著降低在未见过环境上的性能差距。
natural language grounded navigationmultitask navigation modelvision-language navigationnavigation from dialog historyenvironment-agnostic representations
发现论文，激发创造
  • 分析视觉和语言导航在未知的室外区域中的泛化能力

    本研究探讨了在室外场景中，视觉代理如何跨越未知地形实现指令导航，发现与室内情况相比，图形化表达方式对室外导航具有更大的影响，因此未来的研究需关注在不同地形环境中的规模和多样性增长。

    Mar, 2022

  • 在无标注三维环境中学习视觉语言导航

    本研究提出通过使用 900 个未标记的 3D 建筑从 HM3D 中自动创建 VLN 数据集，并通过预训练的语言模型对数据集进行微调，从而解决 VLN 方法中的数据稀缺性问题，从而大幅提高 VLN 模型的泛化能力。实验表明该方法在 REVERIE 和 SOON 数据集验证数据集上提高了 7.1% 和 8.1% 的 SPL 性能，取得了良好效果。

    Aug, 2022

  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • 诊断视觉语言导航中存在的环境偏差

    本文旨在通过重新划分环境和特征替换的实验，探讨 Vision-and-Language Navigation 模型中的环境偏差问题。我们发现，ResNet 特征所传递的底层视觉外观直接影响了代理模型，进而导致环境偏差问题。根据这一发现，我们探索了几种包含较少底层视觉信息的语义表示形式，从而使使用这些特征的代理能够更好地推广到未见过的测试环境中。我们的探索性语义特征无需修改基线代理模型及其训练方式，在多个数据集上显著降低了已看和未见之间的性能差距，并取得了与先前的最先进模型具有竞争力的未见结果。

    May, 2020

  • 面向户外视觉语言导航的多模态文本风格转换

    本文介绍了一种多模态文本风格转换的学习方法，利用外部多模态资源缓解了户外导航任务中的数据匮乏问题，并使用 Google Maps API 生成的指令扩充了导航数据，进而预先训练了导航器。实验结果表明，我们的多模态文本风格转换学习方法不受模型限制，在户外视觉和语言导航任务中，相对于基准模型，改善了任务完成率 8.7%。

    Jul, 2020

  • 用跨语言、环境无关的表征改进视觉语言导航

    该研究提出了 CLEAR（跨语言和环境无关表示）方法，通过学习跨语言和环境无关的引导方法，解决了 Vision-and-Language Navigation 任务中的难题，并在 Room-Across-Room 数据集中证明了该方法的有效性。

    Jul, 2022

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 通过预训练实现通用的视觉语言导航智能体学习

    本文提出了第一个预训练和微调范式，用于视觉语言导航 (VLN) 任务。通过自监督学习方式训练大量的图像 - 文本 - 动作三元组，预训练模型提供通用的视觉环境和语言指令表示，可以轻松地用于现有的 VLN 框架。通过在三个 VLN 任务上验证性能可行性，验证了该方法的有效性和推广性。

    Feb, 2020

  • 具有随机环境混合的视觉语言导航

    本文介绍了一种名为随机环境混合 (Random Environmental Mixup, REM) 的数据增广方法，其通过互换环境中的重要点来生成交叉的房屋场景并产生增广数据，从而帮助代理减少视角偏差的问题，提高了视觉语言导航任务的性能表现，并刷新了标准 VLN 基准数据集的最佳性能记录。

    Jun, 2021

  • 视觉与语言导航中的数据生成扩展

    通过构建大规模数据集，研究了语言引导的视觉导航中各个组成部分对代理性能的影响，并通过简单模仿学习将现有代理的性能推向了一个显著的新高度，成功率达到了 80％，并将在已见和未见环境中导航的泛化差距降低到不到 1％。

    Jul, 2023