Nov, 2017

通过中间奖励实现目标导向的视觉问题生成：问那些难答的问题

PDF
TL;DR本文提出一种深度增强学习框架，通过三种新的中间奖励来鼓励产生精简的问题，旨在解决图像问题中提出智能、目标导向的问题的挑战，同时在 GuessWhat?! 数据集上评估了该模型，结果显示相应的问题有助于在图片中识别特定的物体，并提高了成功率。
发现论文，激发创造
  • 使用对话信息奖励实现目标导向的视觉对话：我应该问什么？

    本文研究了目标导向的视觉对话任务，提出了一种结合强化学习和正则化信息增益的端到端目标导向视觉对话系统，并在 GuessWhat？！数据集上进行了测试，取得了优于当前最先进模型的显著结果。

    Jul, 2019

  • 信息最大化的视觉问题生成

    本文提出了一种模型，通过最大化图像、期望回答和生成的问题之间的互信息，引入可变连续潜在空间来解决自然语言离散标记的无法计算问题，并通过第二潜在空间实现类似回答聚类，实现目标驱动的提取物体、属性、颜色、材质等信息，并在实测中实现获取之前未见过的视觉概念的目标。

    Mar, 2019

  • 生成关于图像的自然问题

    探索了关于一张图片是如何引发常识推理和抽象事件的问题，提出了一项新颖任务视觉问题生成（VQG），该系统的任务是在展示了一张图片后提出自然而引人入胜的问题，我们提供了三个数据集，涵盖了从目标为中心到事件为中心的各种图像，其中训练数据远比现有最先进的字幕系统提供的数据更抽象，通过训练和测试几种生成和检索模型来解决 VQG 这个任务，评估结果表明，尽管这样的模型为各种图像提出了合理的问题，但与人类性能的差距仍然很大，这激发了我们进一步探索将图像与常识和语用知识联系起来的相关研究。

    Mar, 2016

  • 问者心中的回答者：面向目标的视觉对话的信息论方法

    本研究提出了一种新的信息理论策略： 基于该策略的 AQM 模型能有效地处理面向目标的对话任务， 尤其是在问答者句子序列学习方面的复杂性，与其他相比，经验证明 AQm 更胜一筹。

    Feb, 2018

  • 医学图像视觉问答的问题中心模型

    本论文提出一种基于视觉问答的方法来查询深度学习模型的行为，通过在多个医学和自然图像数据集上进行实验，证明该方法较目前方法具有相同或更高的准确度，有效地解决了深度学习方法缺乏透明性的问题。

    Mar, 2020

  • 基于场景的视觉问题的自动生成

    本文提出了一种模型，能够从单个图像中生成具有不同类型的视觉问题。通过采样最可靠的问题类型来自动生成问，该方法在两个真实世界数据集上的实验结果表明，我们的模型在正确性和多样性方面都优于最强基线。

    Dec, 2016

  • 如何提问？以不确定性为指导的目标导向问题

    本篇论文提出了基于贝叶斯模型和不确定性感知的信息寻求模型，以解决视觉对话问题中 agent 提出问题的困难。实验结果表明，在两种挑战性的问题中，我们的方法都优于其它相应的方法。

    Dec, 2018

  • 视觉好奇心：学习提问以学习视觉识别

    本文提出了一种基于视觉好奇心的智能代理，通过与 Oracle 的对话，实现在开放世界环境下识别物体和属性，使用强化学习作为框架学习角色的所有组件和模块，并通过独立于视觉和特定环境的问策略，在学习了新的视觉概念后，成功运用于新领域。

    Oct, 2018

  • 双人博弈：具有辨别式问题生成和回答的视觉对话

    展示了一个简单对称的辨别性基线，该基线可用于预测答案和问题，其性能与最先进的记忆网络方法相当。此外，首次在视觉对话数据集上评估了提问系统的性能，并展示了如何从辨别式问题生成和问题回答生成视觉对话。

    Mar, 2018

  • 针对基于语境的检索提问更多信息

    在交互式环境中，为了获得更多信息，我们提出了一种能够提出更具信息性的开放式问题的方法，并发现现有的视觉问答模型经常产生预设错误。为了解决这个问题，我们提出了一种方法，在问题选择和信念更新中加入了预设处理的两阶段过程，通过自我对战和人类评估，我们展示了我们的方法在提问方面是成功的，准确率比过去的最先进方法提高了 14%，同时在人类评估中结果更高效。

    Nov, 2023