Nov, 2021

ICDAR 2021 文档视觉问答竞赛

PDF
TL;DR通过 ICDAR 2021 版本的文件视觉问题挑战结果，我们介绍了一种新的基于超过 5000 张信息图像和 30,000 个问答组的 Infographics VQA 数据集的任务，并展示了赢家方法在 3 个不同 VQA 任务上的性能。同时还介绍了任务中使用的数据集以及每个提交方法的描述和性能结果。
发现论文，激发创造
  • 信息图问答

    本文探讨使用视觉问答技术自动理解信息图像，并介绍包含自然语言问题和答案注释的多样化信息图集 InfographicVQA，强调重点是需要基本推理和基本算术能力的问题。作者进一步在现有的多模态 VQA 模型的基础上建立两种强大的基准，并为新任务建立基准性能。

    Apr, 2021

  • ICDAR 2019 场景文本视觉问答竞赛

    本文介绍了 ICDAR 2019 场景文本视觉问答比赛 (ST-VQA) 的最终结果和新数据集，包括 23038 张图像和 31791 个文本实例答案，涵盖广泛的情景。该竞赛共有 3 个递增的任务，需要理解场景中的文本并回答问题。提出了一种新的评估度量标准，旨在评估文本识别和图像理解两种关键能力。结果分析提供了 VQA 系统当前的能力洞见。此数据集标志着使用场景文本实现全面图像理解的更强大、更通用的模型的重要里程碑。

    Jun, 2019

  • DocVQA: 一个针对文档图像的 VQA 数据集

    我们介绍了一个名为 DocVQA 的基于文档图像的视觉问答数据集，并提出了该数据集与其他 VQA 和阅读理解数据集的详细分析。虽然现有模型在某些类型的问题上表现得还不错，但与人类表现相比存在较大的表现差距，需要特别在理解文档结构的问题上提高模型性能。

    Jul, 2020

  • 文档集合视觉问答

    文章提出一个新的任务 —— 使用文献收集进行文档理解，提出了一个新的数据集和新的评估指标和基线模型

    Apr, 2021

  • 使用深度学习的视觉问答：调查和性能分析

    本篇综述介绍了视觉问答（VQA）任务，包括基于自然语言描述的图像识别以及机器学习模型的研究，主要探讨了近期在该领域中公布的数据集、新的深度学习模型以及基于 VQA 模型的一些应用研究和挑战。

    Aug, 2019

  • VLSP2022-EVJVQA 挑战：多语言视觉问答

    本文提出了一个基于越南图片的多语言视觉问答基准数据集 EVJVQA，用于评估多语言 VQA 系统或模型，并详细介绍了 9th Workshop on Vietnamese Language and Speech Processing (VLSP 2022) 的组织、方法和结果，其中前两个团队使用 ViT 预训练模型和 mT5 预训练语言模型实现多语言 QA 系统。

    Feb, 2023

  • 视觉语言问答 (VLQA) 挑战赛

    新方法和基础性性能的比较与现有机器学习方法中挑战的问题进行了讨论，最终提出了 Visuo-Linguistic Question Answering 作为计算机视觉和自然语言处理的基准测试集。

    May, 2020

  • 基于离散推理实现复杂文档理解

    本文提供了一个名为 TAT-DQA 的新的数据集，包含来自财务报告的，既有半结构化表格和非结构化文本，又有 16558 个问答对。此外，作者发明了一种新的文档 VQA 模型 MHST，可以智能地处理来自多种模态的信息，从而有效地回答不同类型的问题，并运用离散推理来训练。结果表明，该模型明显优于基线方法，但仍然远远落后于专家人类。作者希望通过提供新的数据集能够促进对融合视觉和语言的视觉丰富文档的深度理解的研究。

    Jul, 2022

  • SlideVQA：多图文档视觉问答数据集

    提出了一个包含多种信息的文档图像的逻辑问答系统，包括视觉、文本和排版信息。SlideVQA 是一个用于复杂推理的新的多图像文档数据集，利用序列到序列模型同时处理证据选择和问题回答。实验结果表明，该方法在 SlideVQA 数据集上表现出了较好的效果。

    Jan, 2023

  • V-Doc：带有文档的视觉问答系统

    V-Doc 是一种使用文档图像和 PDF 文件的问答工具，主要用于帮助研究人员和普通非深度学习专家生成、处理和理解文档的视觉问答任务，支持使用文档图像生成和使用抽取式和生成式问答对，可用于各种数据集和模型，并且通过声明性、框架不可知平台高度可扩展。

    May, 2022