Nov, 2015

基于外部知识的自由形式视觉问答

PDF
TL;DR提出了一种结合图像内容的内部表示和来自广义知识库提取的信息以回答广泛的基于图像的问题的视觉问答方法，可回答自然语言提出的关于图像内容以外信息的问题，显示在 Toronto COCO-QA 和 MS COCO-VQA 数据集上获得最佳结果。
visual question answeringneural network-based approachknowledge basenatural languagesemantic content
发现论文，激发创造
  • 基于显式知识的视觉问答推理

    使用来自大规模知识库的信息来推理图片内容，解释推理过程并回答自然语言问题的视觉问答方法，比主流的长短时记忆方法更能回答复杂问题且表现明显更好，同时提供了数据集和协议来评估这类方法。

    Nov, 2015

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • VQABQ：基础问题驱动的视觉问答

    本研究提出了一种针对图像和问题的视觉问答算法，包含两个主要模块：第一个模块将问题作为输入，输出主要给定问题的基础问题；第二个模块将问题和图像作为输入，输出问题的基于文本的答案。研究将基础问题生成问题视为 LASSO 优化问题，并提出一种标准来利用这些基础问题帮助回答主要问题。经过在具有挑战性的 VQA 数据集上的验证，本研究的方法实现了最先进的准确性，在开放式任务中达到了 60.34％的准确度。

    Mar, 2017

  • 基于属性和外部知识的图像字幕和视觉问答

    本文提出了在成功的卷积神经网络 - 循环神经网络方法中加入高级概念的方法，并证明其在图像字幕和视觉问答中取得了显著的改进。 该机制还可用于合并外部知识，特别是允许在图像中回答有关内容的问题，即使图像本身不能提供完整答案。

    Mar, 2016

  • 问你神经元：基于神经网络的图像问答系统

    利用图像表示和自然语言处理的最新进展，我们提出了一种端到端形式的 Neural-Image-QA 解决方案来回答真实世界图像上的问题，我们面临一个多模态问题，其中语言输出（答案）是基于视觉和自然语言输入（图像和问题）的，我们的方法可以使已有研究成果的表现效果成倍增加，并提供了关于该问题的额外见解，包括研究人类共识的两个新指标并扩展了初始数据集到 DAQUAR-Consensus。

    May, 2015

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 利用动态记忆网络结合外部知识回答开放式视觉问题

    本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。

    Dec, 2017

  • 医学图像视觉问答的问题中心模型

    本论文提出一种基于视觉问答的方法来查询深度学习模型的行为，通过在多个医学和自然图像数据集上进行实验，证明该方法较目前方法具有相同或更高的准确度，有效地解决了深度学习方法缺乏透明性的问题。

    Mar, 2020

  • 开放域问答系统能回答视觉知识问题吗？

    本研究提出了一种基于文本的视觉问题解答系统，此系统无需额外外部知识，仅利用 BERT 模型进行重新提问，表现优异，且仅使用训练数据的 10％。

    Feb, 2022

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020