Apr, 2021

信息图问答

PDF
TL;DR本文探讨使用视觉问答技术自动理解信息图像，并介绍包含自然语言问题和答案注释的多样化信息图集 InfographicVQA，强调重点是需要基本推理和基本算术能力的问题。作者进一步在现有的多模态 VQA 模型的基础上建立两种强大的基准，并为新任务建立基准性能。
infographicsvisual question answeringdatasetreasoningmulti-modal vqa models
发现论文，激发创造
  • ICDAR 2021 文档视觉问答竞赛

    通过 ICDAR 2021 版本的文件视觉问题挑战结果，我们介绍了一种新的基于超过 5000 张信息图像和 30,000 个问答组的 Infographics VQA 数据集的任务，并展示了赢家方法在 3 个不同 VQA 任务上的性能。同时还介绍了任务中使用的数据集以及每个提交方法的描述和性能结果。

    Nov, 2021

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • IconQA：一个新的抽象图形理解和视觉语言推理基准

    本论文介绍了一个新的图标问答（IconQA）挑战，使用包含 107,439 个问题和三个子任务的 IconQA 数据集（Icon645）作为基础，并提出了一个强大的基线模型 Patch-TRM。

    Oct, 2021

  • DocVQA: 一个针对文档图像的 VQA 数据集

    我们介绍了一个名为 DocVQA 的基于文档图像的视觉问答数据集，并提出了该数据集与其他 VQA 和阅读理解数据集的详细分析。虽然现有模型在某些类型的问题上表现得还不错，但与人类表现相比存在较大的表现差距，需要特别在理解文档结构的问题上提高模型性能。

    Jul, 2020

  • DVQA: 通过问答理解数据可视化

    DVQA 数据集是一个检测条形图理解能力的问答框架，与 VQA 相比，我们的方法可以处理特定条形图中独特的问题和答案，研究提出了两个高效的基线模型，其能够从科学出版物、互联网文章、商业报告等多种领域中自动提取数值和语义信息，这项工作将使算法能够自动从大量的条形图中提取信息。

    Jan, 2018

  • PDF-VQA：一个新的 PDF 文档实际应用 VQA 数据集

    本研究提出了一种基于文档的视觉问答模型，并通过新开发的 PDF-VQA 数据集综合考察了文档理解的不同方面，包括文档元素识别、文档结构理解以及上下文理解和关键信息提取，在模型中明确地将文档元素之间的空间和层级结构关系整合起来，以此增强文档结构理解的能力。

    Apr, 2023

  • 视觉问答最近进展综述

    该论文综述了不同方法来解决视觉问答的问题，特别是描述了各种算法提取图像特征和文本特征的方法，并讨论了评估 VQA 模型的实验，并报告了它们在各种数据集上的表现。

    Sep, 2017

  • 视觉语言问答 (VLQA) 挑战赛

    新方法和基础性性能的比较与现有机器学习方法中挑战的问题进行了讨论，最终提出了 Visuo-Linguistic Question Answering 作为计算机视觉和自然语言处理的基准测试集。

    May, 2020