ICLRJan, 2019

借助辅助进度估计的自我监测导航智能体

PDF
TL;DR本文介绍了一种自我监测的智能体，其中包括可视文本共聚合模块和进展监视器以支持 Vision-and-Language Navigation（VLN）任务，并在标准基准测试中使用提出的方法实现了 8％的成功率绝对增加并且创造了最新的技术水平。
vision-and-language navigationself-monitoring agentvisual-textual co-grounding moduleprogress monitorstate of the art
发现论文，激发创造
  • 后悔的智能体：借助进展估计的启发式导航

    本文提出了一种基于可学习启发式搜索的视觉和语言导航任务的处理方法，通过两个模块 —— 后退决策和进度标记，取得较当前最优方法的 5％绝对改进和 8％路径长度的情况下成功率的提高。

    Mar, 2019

  • 利用自监督辅助推理任务的视觉语言导航

    本文提出了一种基于自我监督的辅助推理导航（AuxRN）框架，使用四个辅助推理任务来利用语义信息，通过这些额外训练信号来帮助代理获取语义表示的知识以便进行推理，进而建立对环境的全面感知，该方法在标准基准测试中实现了最佳效果，显著优于现有的最先进方法。

    Nov, 2019

  • 视觉语言导航智能体的行为分析

    为了成功，视觉语言导航（VLN）代理人必须能够根据周围环境将指令与行动联系起来。本研究开发了一种研究基于技能的代理人行为的方法，检查现有代理人在停止、转向和移动向指定对象或房间方面如何准确地进行指令的实施。我们的方法基于生成针对不同技能的干预措施，并测量代理人预测的变化。我们展示了一个详细的案例研究，分析了最新代理人的行为，然后比较了多个代理人在技能特定的能力评分方面。这种分析表明，训练中的偏见对代理人的行为具有持久影响，并且现有的模型能够建立简单的指称表达式。我们在模型之间的比较中发现，技能特定的评分与整体 VLN 任务表现的改进相关。

    Jul, 2023

  • 连续环境下视觉语言导航的语言对齐航点（LAW）监督

    本文针对视觉语言导航任务提出了一种基于自然语言的导航方法，通过一个新的衡量指标来度量环境导航中代理人遵循指令的准确度。

    Sep, 2021

  • 视觉语言导航的主动信息收集

    该研究提出了一种基于人类导航行为的智能视觉语言导航策略，通过赋予代理人主动信息收集能力和学习探索策略来解决当前方法产生的不确定性问题和效率低下问题，实验证明该方法能显著提高导航性能。

    Jul, 2020

  • 诊断视觉语言导航：真正重要的事情

    本文研究了视觉与语言导航的多模态任务，通过一系列诊断实验揭示不同类型的导航智能体的注意力焦点和跨模态理解能力，发现 Transformer 模型相对其他模型更具有对物体的跨模态理解能力，同时对于模型声称的跨模态对齐方式存在质疑。

    Mar, 2021

  • 视觉与语言导航：任务、方法和未来发展综述

    本文综述了 Vision-and-Language Navigation（VLN）这一领域的现有研究，包括任务、评价指标、方法等，并通过结构化分析当前进展和挑战，强调了当前 VLN 的局限性和未来工作的机遇，是 VLN 研究社区的详尽参考。

    Mar, 2022

  • 视觉语言导航的多模态判别模型

    本论文提出了一种使用多模态对齐的鉴别器来评估视觉和语言导航任务中的自然语言指令，以及通过预训练组件暖启动 VLN 代理以改善其在以前看不见的环境中的表现的方法。

    May, 2019

  • 基于视觉导航和语言辅助的间接干预模仿学习

    本文提出了基于视觉感知和语言引导的导航任务，通过 Imitation Learning with Indirect Intervention（I3L）的框架实现了语言引导，有效提升了成功率。

    Dec, 2018

  • 分析视觉和语言导航在未知的室外区域中的泛化能力

    本研究探讨了在室外场景中，视觉代理如何跨越未知地形实现指令导航，发现与室内情况相比，图形化表达方式对室外导航具有更大的影响，因此未来的研究需关注在不同地形环境中的规模和多样性增长。

    Mar, 2022