EMNLPSep, 2019

帮助，安娜！通过回溯性好奇心鼓励模仿学习进行自然多模态辅助的视觉导航

PDF
TL;DR本研究开发了一个交互式真实仿真平台 “Help, Anna!”（HANNA），其中一个代理可通过请求和解释自然语言和视觉援助来完成物体寻找任务，解决 HANNA 问题，我们开发了一种记忆增强的神经代理和一种以模仿学习为基础的算法，通过有效地询问帮助，并同时预测自己未来的进展的机会，来比其他竞争基线更有效地避免重复错误，从而在以前看到和以前没看到的环境中获得更高的任务成功率。
mobile agentshelping humansnatural language assistancevision assistancememory-augmented neural agent
发现论文，激发创造
  • Just Ask: 视觉与语言导航的交互学习框架

    本文提出了一个交互式学习框架以及多种学习方法应对视觉和语言导航任务中出现的模糊情况，引入强化学习并设计奖励塑形项使智能体仅在必要时提问，同时展示了持续学习策略的有效性。

    Dec, 2019

  • 基于视觉导航和语言辅助的间接干预模仿学习

    本文提出了基于视觉感知和语言引导的导航任务，通过 Imitation Learning with Indirect Intervention（I3L）的框架实现了语言引导，有效提升了成功率。

    Dec, 2018

  • 视觉和对话导航

    提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

    Jul, 2019

  • 一个在具体可视化导航中寻求帮助学习框架的研究

    提出一种学习框架，使代理程序在具有未知位置的目标的肢体视觉导航任务中积极寻求帮助并通过不断的实践训练，在不总能得到反馈的情况下学会了有效地寻求帮助和提供足够的鲁棒性

    Jun, 2022

  • 个性化动态模型的自适应辅助导航系统

    提出了一种基于强化学习的个性化导航系统，根据不同视力障碍者的个人特点和行动能力，通过权重专家模型逐步调整系统用户交互体验，实现更精准的长期行为预测和快速适应性学习。

    Apr, 2018

  • 通过问答学习实体视觉导航和任务完成

    该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

    Feb, 2023

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • 多模态大型语言模型用于视觉导航

    通过简单的文本提示、当前观察和历史收集模型，我们的方法在视觉导航中对大型语言模型进行了精细调优，训练模型使用了来自 Habitat-Matterport 3D 数据集（HM3D）的人类示范和碰撞信号，实验结果表明我们的方法优于最先进的行为克隆方法并有效地降低了碰撞率。

    Oct, 2023

  • 学习向人类请求丰富和有上下文作用的信息的框架

    通过使用互动框架，让人类协助 AI agent 克服自身局限，并在以前未见过的环境中解决导航问题。

    Oct, 2021

  • 学习在复杂环境中导航

    利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务，可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现

    Nov, 2016