ACLMay, 2019

沿着路径前进：视觉语言导航中的指令准确度

PDF
TL;DR通过对 Room-to-Room 数据集的评估提出新的评价指标 CLS，并且创建了新数据集 Room-for-Room (R4R) 用于指导指令跟踪的任务，同时通过比较与基准系统，表明重视指令的代理程序优于重视目标完成的代理程序。
vision-and-language navigationlanguage understandingevaluation metricsroom-for-room datasetinstruction fidelity
发现论文，激发创造
  • 视觉语言导航中可转移的表征学习

    我们的方法将预先训练的视觉和语言表示技术适应于相关领域的任务，通过在跨模态序列对齐和序列一致性任务中适应这些表示技术，从而提高了在 Room-to-Room（R2R） 带权路径成功率（SPL）度量方面的性能。

    Aug, 2019

  • 连续环境下视觉语言导航的语言对齐航点（LAW）监督

    本文针对视觉语言导航任务提出了一种基于自然语言的导航方法，通过一个新的衡量指标来度量环境导航中代理人遵循指令的准确度。

    Sep, 2021

  • 对比指导 - 轨迹学习用于视觉 - 语言导航

    本文提出了 Contrastive Instruction-Trajectory Learning（CITL）框架，通过粗粒度的对比学习和细粒度的对比学习目标来学习视觉和语言表示，同时采用逐对样本加权机制来增强模型的鲁棒性和泛化性，该方法在视觉和语言导航领域取得了最好的性能。

    Dec, 2021

  • 右边” 在哪儿？：揭示视觉语言导航模型的限制

    通过一系列的简单遮盖实验，揭示了某些高性能模型仅依赖于指令的名词标记，并提出了两种训练方法来缓解这个问题。

    Nov, 2023

  • 迭代式视觉语言导航

    本研究提出了一种名为 IVLN（迭代视觉语言导航）的新范例用于评估自然语言引导的智能体在具有持久环境的不同场景中的导航表现。

    Oct, 2022

  • 持续视觉与语言导航

    以连续学习为基础，提出了视觉语言导航的连续学习范式，通过重新组织已有的导航数据集，提出了 CVLN-I 和 CVLN-D 两个用于训练和评估 CVLN 代理的数据集，进一步提出了 Perplexity Replay (PerpR) 和 Episodic Self-Replay (ESR) 两种基于回放的新方法，通过广泛实验验证了所提方法的有效性。

    Mar, 2024

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • 沿着风景路线前行：提高视觉语言导航的泛化能力

    通过对房间到房间的导航 (VLN) 基准进行研究，发现数据加工的方式很重要。我们发现最短路径采样在动作空间中编码偏见，从而解释了现有方法推广能力差的原因。为了减轻这种偏见，我们提出了一种基于随机游走的路径采样方法来增强数据，通过这种方法训练代理，其相比基线，能够更好地推广到未知环境，从而显着提高模型性能。

    Mar, 2020

  • 具备语言预训练和随机采样的稳健导航

    本文提出了两种有效方法来改善视觉和语言导航 (VLN) 挑战中的指令表示和动作解码问题，一是使用大规模预训练语言模型来学习更好的文本表示，二是提出一种随机采样方案来减小训练和测试中动作的差距，从而使智能体可以在长序列的动作解码过程中学习自我纠正，将两项技术结合，成功地在 Room-to-Room 基准测试中取得了新的最优性能，以路径长度加权的成功率指标提高了 6% 绝对值 (47%—>53%)。

    Sep, 2019

  • 跨语种视觉 - 语言导航

    该研究基于新增的汉语指令，研究了即使在零样本学习的情况下，使用现有的英语指令进行训练的代理人如何有效地导航，并显示了竞争结果。

    Oct, 2019