ECCVMar, 2018

VQA-E：为视觉问题解答进行解释、阐释和增强

PDF
TL;DR提出了 VQA-E 任务，要求计算机模型在预测答案的同时生成一个解释。通过多任务学习框架， VQA-E 数据集从 VQA v2 数据集自动导出，用户研究表明，我们的方法可以生成有洞察力的文本句子来证明答案，并提高了答案预测的性能。
visual question answeringvqa-eexplanationsmulti-task learningdataset
发现论文，激发创造
  • 通过比较竞争性解释来改进 VQA 及其解释

    该研究提出了一种使用人工文本解释帮助视觉问答（VQA）系统选择正确答案的新框架，通过在人类文本解释上进行训练，VQA 系统可以构建更好的问题和视觉内容的表示，并重新计算训练集中生成或检索到的解释的置信度，该方法在 VQA 和其解释上实现了新的最先进的结果。

    Jun, 2020

  • 面向视觉问答中生成答案和解释的统一模型

    提出了一种基于多任务学习的统一模型（UMAE）来解决现有的视觉问答系统中存在的回答和解释分离的问题，其方法涉及在训练数据集中添加人工提示令牌，并在各种 VQA 相关任务上进行细调，实验证明该模型在准确性、解释性和领域外表现等方面均得到了明显的提高。

    Jan, 2023

  • Tell-and-Answer: 基于属性和字幕的可解释视觉问答

    本研究提出将端到端的 VQA 分解为解释和推理两步，使用预训练的属性检测器和图像字幕模型提取图像属性和生成图像描述，然后使用推理模块将这些解释代替图像推断问题的答案。通过对热门 VQA 数据集进行实验，我们证明了该系统具备解释性和进一步提高解释质量的内在能力。

    Jan, 2018

  • 视觉问答的强健性解释

    该研究提出了一个用于视觉问答（VQA）的生成鲁棒解释的方法，该模型通过提供视觉和文本解释来解释由 VQA 模型获得的答案，使用协作相关模块应对答案与文本解释不相关和视觉解释不正确的问题。在 VQA-X 数据集上的评估中，该算法具有更好的文本和视觉解释支持，对应视觉和文本解释攻击有更强的鲁棒性，且具有高度的相关性。

    Jan, 2020

  • 视觉问题回答的忠实多模态解释

    本文提出了一种新颖的方法，开发了一个高性能的 VQA 系统，能够通过集成的文本和视觉解释阐述其答案，并捕捉到深度神经网络推理的重要方面，从而比竞争方法具有更好的自动化和人类评估指标。

    Sep, 2018

  • 超越 VQA: 生成多词答案和解释来回答视觉问题

    本文介绍了一种新的任务 ——ViQAR（视觉问题回答和推理），并提出了一种完全生成式的解决方案，它能够为视觉查询生成完整的答案和推理，我们通过定性和定量评估以及人类图灵测试表明，我们的模型能够生成强有力的答案和推理。

    Oct, 2020

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • VQA 可能只需要图片标题

    本文提出了使用图像 - 标题注释与文本问题生成的神经模型自动导出 VQA 示例的方法，从而改进了 VQA 数据的质量和量，并在零样本准确性方面取得了双位数的业界领先水平。

    May, 2022