Aug, 2023

VQA 疗法：通过视觉参考答案探索答案差异

PDF
TL;DR视觉问答是一项关于预测图像问题答案的任务，本文引入了第一个数据集 VQAAnswerTherapy，每个视觉问题中的唯一答案都有对应的视觉依据，我们提出了两个新问题，即预测视觉问题是否有唯一答案依据以及定位所有答案依据。通过对现代算法进行基准测试，展示了它们在这些新问题上的成功和困难。
发现论文，激发创造
  • 为视障人士提问的视觉问题提供答案

    该研究介绍了用于回答图像问题的 VizWiz-VQA-Grounding 数据集，并分析了当前 SOTA 算法在识别相关视觉证据方面的不足，尤其是在处理占整个图像一小部分的高质量图像以及需要文本识别技能的视觉问题方面。

    Feb, 2022

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • 为什么一个视觉问题有不同的答案？

    该研究提出了一个关于视觉问题回答差异的分析方法，提供了九种可能性的分类方式，并建立了两个带标签的数据集。此外，还提出了一个从视觉问题直接预测造成答案差异的新算法。在两个数据集上进行实验表明，该方法在预测准确率上具有优势。

    Aug, 2019

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 视觉问答调查：数据集与技术

    该文综述了近年来关于视觉问答的各种数据集和模型，分别从数据集和模型两个方面进行了比较和总结，并提出了未来研究的方向。

    May, 2017

  • Visual7W：基于图像的问答系统

    通过物体级别的 grounding，在图像中建立了文本描述与图像区域的语义联系，提出了一种新型维度的视觉问答任务，并使用多个基线模型和带有空间注意力机制的 LSTM 模型来解决该任务。

    Nov, 2015

  • 基于注意力监控挖掘的视觉驻留解释性视觉问答

    本文展示了使用可用的区域描述和物体注释自动获取定位监督来有效地训练具有基于解释性的可视化问题回答 (VQA) 模型，并呈现了我们的模型的训练效果，表明其生成的视觉定位效果与手动注释的效果更接近，同时实现了最先进的 VQA 准确性。

    Aug, 2018

  • 开放式视觉问题回答（VQA）任务开发和评估中的瓶颈突破：“你对并不代表我错

    提出了基于 Alternative Answer Sets (AAS) 的语义度量方法，通过修改现有的 VQA 算法实现多个有效答案，提高了视觉理解和组合问题回答 (GQA) 数据集的表现。

    Mar, 2021

  • 视觉问答：近期文献中的技术和普遍趋势调查

    这篇论文调查了目前在视觉问答领域的多项研究，并提供了深入的分析和比较，包括结果、现有技术的状态、常见错误以及未来研究的可能改进点。

    May, 2023