Apr, 2017

C-VQA: Visual Question Answering (VQA) v1.0 数据集的组合拆分

PDF
TL;DR本文介绍了一个新的视觉问答问题设置，称为组合 VQA（Compositional VQA）。为了便于在此设置下开发模型，我们提出了一个新的 VQA 数据集的组合拆分。最后，我们在这个新设置下评估了几个现有的 VQA 模型，并显示这些模型的性能比原始 VQA 设置下降了显著的量。
visual question answeringdeep learning modelscompositionalitycompositional vqaperformance degradation
发现论文，激发创造
  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • 通向万能视觉问答模型之路：回答它们的全部问题！

    该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的 VQA 算法，能够在这两个领域上达到或超越现有算法的水平。

    Mar, 2019

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • 将技能与概念分离以进行新颖视觉问答

    提出了一种基于视觉任务的方法，将 VQA 问题分解为技能和概念，并通过对对应的概念表示和技能编码的解耦实现模型内部的有效组合，从而提高了处理新组合任务的能力。

    Jul, 2021

  • 视觉问答调查：数据集与技术

    该文综述了近年来关于视觉问答的各种数据集和模型，分别从数据集和模型两个方面进行了比较和总结，并提出了未来研究的方向。

    May, 2017

  • 你能分清左右吗？一个新的 VQA 挑战

    本文提出了一种用于视觉问答模型评估强度和弱点的方法，通过提供新的数据集 UOUC 并应用几个定量度量来测量其分解分离性，同时展示了模型在分解分离性和简单推理能力方面的挑战，表明 UOUC 可能成为 VQA 的一个强有力的基准。

    Mar, 2022

  • 基于分层图神经网络的组合式问答

    本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集，回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型，并在预训练和机器阅读理解领域中取得了巨大的提升。

    Jan, 2021

  • Co-VQA: 交互子问题序列回答

    本文提出了一个基于会话的视觉问答框架，包括三个组件：问话者，Oracle 和答案者，其中 ACVRM 用于答案者。通过对过程进行模拟，作者对每个问题建立了一个 SQS 来进行监督学习，实验结果表明这种方法在 VQA-CP v2 上实现了最新颖的性能。

    Apr, 2022

  • 视觉问答：数据集、算法和未来挑战

    本文回顾了近年来计算机视觉和自然语言处理领域关于视觉问答（VQA）的研究，包括问题定义、数据集、算法和评估指标，并深入探讨了当前数据集在训练和评估 VQA 算法方面的局限性，全面回顾了现有的 VQA 算法，最后讨论了 VQA 和图像理解研究的可能未来方向。

    Oct, 2016