Jan, 2018

Tell-and-Answer: 基于属性和字幕的可解释视觉问答

PDF
TL;DR本研究提出将端到端的 VQA 分解为解释和推理两步，使用预训练的属性检测器和图像字幕模型提取图像属性和生成图像描述，然后使用推理模块将这些解释代替图像推断问题的答案。通过对热门 VQA 数据集进行实验，我们证明了该系统具备解释性和进一步提高解释质量的内在能力。
visual question answeringexplainable vqareasoning moduleattribute detectorsimage captioning models
发现论文，激发创造
  • 利用视觉问答进行图像字幕排名

    本研究将视觉问题回答任务视为 “特征提取” 模块，提取图像和标题的表征，以此为基础对图像 - 标题进行排序并提出融合模型提高图像 - 标题匹配一致性的表现。实验发现，该模型在 MSCOCO 数据集上的字幕检索提高了 7.1％，图像提取提高了 4.4％。

    May, 2016

  • 通过相关问题和图像属性在视觉问答中进行知识检测

    本文提出的方法使用图像属性和问题特征来派生知识，在只提取与问题相关的图像对象知识的同时，提供准确的答案。

    Jun, 2023

  • 通过问题驱动的图像标题作为提示，增强视觉问答能力

    通过在视觉问题回答（VQA）过程中利用图像描述作为中介步骤，建立零样本设置，探索了零样本 VQA 的影响。比较了最先进的图像描述模型对于不同问题类型的 VQA 性能在结构和语义上的影响，并在 VQA 过程中提出了一种简单高效的问题驱动图像描述方法，通过提取问题关键词、为每个图像 - 问题对生成描述，并将问题驱动的描述传输到大型语言模型中。研究发现利用图像描述和大型语言模型的能力，在零样本设置下能够实现竞争性的 GQA 性能。

    Apr, 2024

  • VQA-Machine：掌握使用现有视觉算法回答新问题的方法

    该研究提出了一种新的 co-attention 模型来利用现成的算法实现图像操作，从而达到居于最先进水平的视觉问答结果。

    Dec, 2016

  • 生成问题相关的字幕以帮助视觉问答

    该文介绍了一种新的方法来提高视觉问题回答的性能，该方法利用深度学习的技术，结合语言和视觉的普适性知识来生成针对特定视觉问题的图像描述，并利用在线梯度方法自动确定与问题相关的描述来训练模型，实验结果表明，本方法取得了视觉问题回答领域的最新成果。

    Jun, 2019

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • VQA-E：为视觉问题解答进行解释、阐释和增强

    提出了 VQA-E 任务，要求计算机模型在预测答案的同时生成一个解释。通过多任务学习框架， VQA-E 数据集从 VQA v2 数据集自动导出，用户研究表明，我们的方法可以生成有洞察力的文本句子来证明答案，并提高了答案预测的性能。

    Mar, 2018

  • 重访视觉问答基线模型

    本文提出了一种基于二元分类的简单替代模型来解决视觉问答中的一些问题，并通过在 Visual7W Telling 和 VQA Real Multiple Choice 任务上的实验表明该模型的简单版本同样具有竞争力，同时，作者发现现有的视觉问答系统性能的瓶颈可能在于其对问题及答案中基础概念的不足认知，其表现相对于充分利用数据集偏见的系统并没有显著提升。

    Jun, 2016

  • 易于解释的设计视觉问答

    本文重点研究视觉问答（VQA）中 Black-box 多模型的解释性问题，提出 InterVQA：Interpretable-by-design VQA 方法，在保持最新技术水平的同时，设计了明确的中间动态推理结构，强制符号推理仅用于最终答案预测，以产生高质量的明确中间推理步骤。

    May, 2023

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016