May, 2019

自我批判推理用于稳健的视觉问答

PDF
TL;DR该研究提出了自我批判的训练目标，通过确定人类视觉 / 文本解释或仅来自问题和答案中的重要单词的具有影响力的图像区域，确保正确答案的视觉解释与竞争答案候选者相比更匹配，以解决 Visual Question Answering 系统在训练数据上捕捉表面统计相关性的问题。应用于 VQA-CP 数据集，使用文本解释获得 49.5％，使用自动注释区域获得 48.5％，在 VQA 泛化任务中达到了最新的技术水平。
visual question answeringdeep-learning systemsself-critical training objectiveinfluential image regionsvqa generalization task
发现论文，激发创造
  • 重访视觉问答基线模型

    本文提出了一种基于二元分类的简单替代模型来解决视觉问答中的一些问题，并通过在 Visual7W Telling 和 VQA Real Multiple Choice 任务上的实验表明该模型的简单版本同样具有竞争力，同时，作者发现现有的视觉问答系统性能的瓶颈可能在于其对问题及答案中基础概念的不足认知，其表现相对于充分利用数据集偏见的系统并没有显著提升。

    Jun, 2016

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016

  • 生成问题相关的字幕以帮助视觉问答

    该文介绍了一种新的方法来提高视觉问题回答的性能，该方法利用深度学习的技术，结合语言和视觉的普适性知识来生成针对特定视觉问题的图像描述，并利用在线梯度方法自动确定与问题相关的描述来训练模型，实验结果表明，本方法取得了视觉问题回答领域的最新成果。

    Jun, 2019

  • VQA-Machine：掌握使用现有视觉算法回答新问题的方法

    该研究提出了一种新的 co-attention 模型来利用现成的算法实现图像操作，从而达到居于最先进水平的视觉问答结果。

    Dec, 2016

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • 通过比较竞争性解释来改进 VQA 及其解释

    该研究提出了一种使用人工文本解释帮助视觉问答（VQA）系统选择正确答案的新框架，通过在人类文本解释上进行训练，VQA 系统可以构建更好的问题和视觉内容的表示，并重新计算训练集中生成或检索到的解释的置信度，该方法在 VQA 和其解释上实现了新的最先进的结果。

    Jun, 2020

  • 说服性的视觉问答推理理由

    通过对图像和问题对的预测答案生成视觉和文本理由，从而在零样本评估设置中实现了竞争性性能。

    Feb, 2024

  • 视觉问答的焦点区域：何处寻找

    本文提出一种方法，通过选择与基于文本的查询相关的图像区域来学习回答视觉问题。该方法在回答 ' 什么颜色 ' 等需要评估特定位置以及 ' 什么房间 ' 等需要选择性地识别信息图像区域的问题方面展示出显著的提升。我们的模型在 VQA 数据集上进行测试，这是目前为止最大的人工注释视觉问题回答数据集。

    Nov, 2015

  • 不要仅仅猜测；观察并回答：克服视觉问答的先验知识

    本文提出了一个新的 VQA 模型，其中通过引入不同的先验分布来防止模型仅仅依赖训练数据中的先验信息。该模型是 GVQA，与现有 VQA 模型相比，它具有更好的泛化性能和可解释性能。

    Dec, 2017

  • 通过推理监督实现可解释的视觉问答

    我们提出了一种新的视觉问答架构，通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足，并通过相似性损失将模型的视觉注意力引导到场景的重要元素，从而提高模型的视觉感知能力和性能。

    Sep, 2023