Dec, 2018

如何提问？以不确定性为指导的目标导向问题

PDF
TL;DR本篇论文提出了基于贝叶斯模型和不确定性感知的信息寻求模型，以解决视觉对话问题中 agent 提出问题的困难。实验结果表明，在两种挑战性的问题中，我们的方法都优于其它相应的方法。
visual dialoguebayesian modeluncertainty-awareinformation-seeking modelgoal-oriented
发现论文，激发创造
  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • 询问无益：决定何时在指称视觉对话中猜测

    本文研究了如何将对话管理器的能力融入端到端的基于视觉的对话代理，通过增加一个决策组件来决定是否询问一个图像中的目标指代，可以减少冗余和不必要的问题，并且可能导致更高效和更自然的交互。

    May, 2018

  • 在适当时候提出正确问题：人类和模型不确定性对于提问澄清问题的指导

    通过团队对话任务为实验平台，研究模型不确定性与人类不确定性之间的关系，提出了一种基于模型不确定性估计的生成澄清问题的方法，并与其他几种方法进行对比，显示出在任务成功方面有显著的改进。

    Feb, 2024

  • 问者心中的回答者：面向目标的视觉对话的信息论方法

    本研究提出了一种新的信息理论策略： 基于该策略的 AQM 模型能有效地处理面向目标的对话任务， 尤其是在问答者句子序列学习方面的复杂性，与其他相比，经验证明 AQm 更胜一筹。

    Feb, 2018

  • 通过中间奖励实现目标导向的视觉问题生成：问那些难答的问题

    本文提出一种深度增强学习框架，通过三种新的中间奖励来鼓励产生精简的问题，旨在解决图像问题中提出智能、目标导向的问题的挑战，同时在 GuessWhat?! 数据集上评估了该模型，结果显示相应的问题有助于在图片中识别特定的物体，并提高了成功率。

    Nov, 2017

  • 针对基于语境的检索提问更多信息

    在交互式环境中，为了获得更多信息，我们提出了一种能够提出更具信息性的开放式问题的方法，并发现现有的视觉问答模型经常产生预设错误。为了解决这个问题，我们提出了一种方法，在问题选择和信念更新中加入了预设处理的两阶段过程，通过自我对战和人类评估，我们展示了我们的方法在提问方面是成功的，准确率比过去的最先进方法提高了 14%，同时在人类评估中结果更高效。

    Nov, 2023

  • 一个在具体可视化导航中寻求帮助学习框架的研究

    提出一种学习框架，使代理程序在具有未知位置的目标的肢体视觉导航任务中积极寻求帮助并通过不断的实践训练，在不总能得到反馈的情况下学会了有效地寻求帮助和提供足够的鲁棒性

    Jun, 2022

  • 信息最大化的视觉问题生成

    本文提出了一种模型，通过最大化图像、期望回答和生成的问题之间的互信息，引入可变连续潜在空间来解决自然语言离散标记的无法计算问题，并通过第二潜在空间实现类似回答聚类，实现目标驱动的提取物体、属性、颜色、材质等信息，并在实测中实现获取之前未见过的视觉概念的目标。

    Mar, 2019

  • 思考的不确定性：不确定性感知规划增强大型语言模型中的信息搜索

    通过模拟、激励和奖励机制，引入了一种名为不确定性思考（UoT）的算法来提高大型语言模型在主动寻求信息方面的能力。在医学诊断、故障排除和 '20 个问题 ' 游戏的实验中，UoT 相较于直接提示的方式，在成功完成任务的速度上平均提高了 57.8%，同时也提高了任务完成所需的效率（即问题数量的减少）。

    Feb, 2024

  • Just Ask: 视觉与语言导航的交互学习框架

    本文提出了一个交互式学习框架以及多种学习方法应对视觉和语言导航任务中出现的模糊情况，引入强化学习并设计奖励塑形项使智能体仅在必要时提问，同时展示了持续学习策略的有效性。

    Dec, 2019