Apr, 2017

C-VQA: Visual Question Answering (VQA) v1.0 数据集的组合拆分

HTML
PDF
TL;DR本文介绍了一个新的视觉问答问题设置，称为组合VQA（Compositional VQA）。为了便于在此设置下开发模型，我们提出了一个新的VQA数据集的组合拆分。最后，我们在这个新设置下评估了几个现有的VQA模型，并显示这些模型的性能比原始VQA设置下降了显著的量。
发现论文，激发创造
  • 视觉问答的组合记忆

    本文提出了一种直接模拟语言和所有可能的本地图像补丁之间的时态动态的端到端方法，使用注意机制将与单词相关的特征和多个本地补丁上可用的特征融合在一起，并将融合的信息进一步结合生成动态信息，最终通过标准问题回答模块和上下文视觉信息和语言信息一起完成问题回答。

    Nov, 2015

  • 视觉问答: 方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合Visual Genome数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 视觉问答：数据集、算法和未来挑战

    本文回顾了近年来计算机视觉和自然语言处理领域关于视觉问答（VQA）的研究，包括问题定义、数据集、算法和评估指标，并深入探讨了当前数据集在训练和评估VQA算法方面的局限性，全面回顾了现有的VQA算法，最后讨论了VQA和图像理解研究的可能未来方向。

    Oct, 2016

  • 视觉问答调查：数据集与技术

    该文综述了近年来关于视觉问答的各种数据集和模型，分别从数据集和模型两个方面进行了比较和总结，并提出了未来研究的方向。

    May, 2017

  • 不要仅仅猜测；观察并回答：克服视觉问答的先验知识

    本文提出了一个新的 VQA 模型，其中通过引入不同的先验分布来防止模型仅仅依赖训练数据中的先验信息。该模型是 GVQA，与现有 VQA 模型相比，它具有更好的泛化性能和可解释性能。

    Dec, 2017

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA是一个旨在解决以往VQA数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了2200万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • 通向万能视觉问答模型之路：回答它们的全部问题！

    该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的VQA算法，能够在这两个领域上达到或超越现有算法的水平。

    Mar, 2019

  • 使用深度学习的视觉问答: 调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • 学习用于视觉问答的稀疏专家混合模型

    本文提出了一种模块化的神经架构，特别针对 VQA 任务中的卷积神经网络模块，通过网络的稀疏性提高了模型的运行效率，实验表明其可与传统的 CNN VQA 模型相媲美。

    Sep, 2019

  • 你能分清左右吗？一个新的 VQA 挑战

    本文提出了一种用于视觉问答模型评估强度和弱点的方法，通过提供新的数据集UOUC并应用几个定量度量来测量其分解分离性，同时展示了模型在分解分离性和简单推理能力方面的挑战，表明UOUC可能成为VQA的一个强有力的基准。

    Mar, 2022