EMNLPMay, 2017

利用问题前提在视觉问答中的潜力

PDF
TL;DR研究图片问题中的前提条件，构建了 Question Relevance Prediction and Explanation（QRPE）的数据集，并利用其训练了新颖的问题相关度检测模型，发现比使用传统模型更加有效。同时，在训练期间要求模型关注前提条件可以提高任务性能。
发现论文，激发创造
  • VQA 中的问题相关性：识别非视觉和虚假前提问题

    本文提出并解决了在 Visual Question Answering 中问题是否与图片相关的问题，并使用 LSTM-RNNs、VQA 模型不确定性和标题 - 问题相似性等方法，增强 VQA 模型的智能性和人性化。

    Jun, 2016

  • 不要仅仅猜测；观察并回答：克服视觉问答的先验知识

    本文提出了一个新的 VQA 模型，其中通过引入不同的先验分布来防止模型仅仅依赖训练数据中的先验信息。该模型是 GVQA，与现有 VQA 模型相比，它具有更好的泛化性能和可解释性能。

    Dec, 2017

  • 基于粗到细的视觉问答推理

    本文提出了一种新的推理框架来填补 VQA 任务中视觉特征和语义线索之间的语义鸿沟，实现了特征和谓词的有效联合学习，并在三个大规模数据集上实现了其他最先进方法无法比拟的准确度，同时还提供了一种可解释的方式来理解深度神经网络在预测答案时的决策。

    Oct, 2021

  • 通过推理监督实现可解释的视觉问答

    我们提出了一种新的视觉问答架构，通过常识推理作为监督信号来减轻模型在缺乏视觉基础的情况下的性能不足，并通过相似性损失将模型的视觉注意力引导到场景的重要元素，从而提高模型的视觉感知能力和性能。

    Sep, 2023

  • 在视觉问答中提升图像理解的作用：让 VQA 中的 V 更有意义

    该研究通过收集相关的图像，用于构建一个平衡的数据集（VQA v2.0），并在此基础上比较现有的 VQA 模型的表现，发现这些模型都受到了语言先验的影响。此外，该研究还提出了一种可解释性模型，它不仅可以回答问题，而且还可以通过提供一个相似但不同的图像来提高用户对其信任度。

    Dec, 2016

  • 再次检查：通过视觉蕴涵进行逐步视觉问答

    本文提出了一种基于视觉蕴含的选择性 - 重新排名（SAR）渐进式框架解决 VQA 模型的表面相关性问题，通过选取与图像或问题相关的候选答案，并使用视觉蕴含验证每个答案是否可信，实现了对候选答案的有效排序，从而在 VQA-CP v2 数据集上取得了 7.55％的准确率提高，达到了新的最高水平。

    Jun, 2021

  • 基于前提的多模态推理：联合文本与视觉线索的条件推断

    本文提出了一种基于 Premise 的多模态推理任务，建立了 PMR 数据集用于评价多模态推理模型的性能。

    May, 2021

  • 基于 VQA 的视觉基础方法的负面案例分析

    为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题，提出了利用视觉提示进行 VQA 模型性能优化的方法，但实现的改进并不是由于视觉提示的影响，而是正则化效应，为此提出了一种不需要外部数据注释的简单正则化方案。

    Apr, 2020

  • 视觉问答的潜变量模型

    本文提出使用潜在变量模型来解决视觉问答问题，将额外信息（如标题和答案类别）作为潜在变量进行训练，提高了问题回答性能。实验表明该方法在 VQA v2.0 基准测试数据集上优于其他方法。

    Jan, 2021

  • 走向透明化的 AI 系统：解释视觉问答模型

    该论文探讨使用引导反向传播和遮挡等可视化技术，解释视觉问答（VQA）模型的工作过程，并发现即使没有显式注意机制，VQA 模型有时也会隐含地关注图像中的相关区域和问题中的适当单词。

    Aug, 2016