AAAIDec, 2019

Just Ask: 视觉与语言导航的交互学习框架

PDF
TL;DR本文提出了一个交互式学习框架以及多种学习方法应对视觉和语言导航任务中出现的模糊情况，引入强化学习并设计奖励塑形项使智能体仅在必要时提问，同时展示了持续学习策略的有效性。
vision and language navigation taskinteractive learning frameworkreinforcement learningreward shaping termcontinual learning strategy
发现论文，激发创造
  • 一个在具体可视化导航中寻求帮助学习框架的研究

    提出一种学习框架，使代理程序在具有未知位置的目标的肢体视觉导航任务中积极寻求帮助并通过不断的实践训练，在不总能得到反馈的情况下学会了有效地寻求帮助和提供足够的鲁棒性

    Jun, 2022

  • 学习向人类请求丰富和有上下文作用的信息的框架

    通过使用互动框架，让人类协助 AI agent 克服自身局限，并在以前未见过的环境中解决导航问题。

    Oct, 2021

  • 通过问答学习实体视觉导航和任务完成

    该研究提出一种名为 ELBA 的模型，以增强具有互动人类能力的代理，通过问答实现动态获取附加信息，以提高任务完成性能，并在 TEACH 视觉对话导航和任务完成数据集上进行了评估。

    Feb, 2023

  • 从语言中训练 RL 代理程序查询外部知识

    本研究提出了基于非参数记忆、指针机制和情节式探索奖励的 AFK 代理，使其能够询问外部语言知识来帮助解决任务，大量实验证明 AFK 代理在挑战性的 Q-BabyAI 和 Q-TextWorld 环境中优于最近的基线。

    May, 2022

  • 通过强化学习来控制会话式搜索的风险

    提出了一种风险感知的对话式搜索代理模型，平衡了回答用户查询和提出澄清问题的风险，并通过强化学习策略在 MSDialog 数据集上得到了比非风险感知基线更好的结果。

    Jan, 2021

  • 学习在复杂环境中导航

    利用增强学习问题和多模态感应输入的辅助深度预测和循环闭环分类任务，可以学习从复杂 3D 迷宫中进行导航并接近人类级别表现

    Nov, 2016

  • 视觉和对话导航

    提出了 Cooperative Vision-and-Dialog Navigation 数据集，定义了 Navigation from Dialog History 任务，使用序列到序列模型解决人机对话中机器人导航的问题，并进一步证明历史对话越长，性能越好。

    Jul, 2019

  • 通过强化学习在对话中进行交互式问题澄清

    本文提出了通过增强学习模型来澄清模糊问题的方法，包括分割问题、选择标签、确认意图和构建适当的响应。模型基于深度政策网络的强化学习模型，通过真实用户点击数据评估并展示了显著的性能提升。

    Dec, 2020

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015