Nov, 2022

MapQA：面向分级地图的问答数据集

PDF
TL;DR本研究提出了一个名为 MapQA 的大规模数据集，其中包含大约 60,000 张地图图像中的约 800,000 个问题 - 答案对。同时，本研究提出了一种新算法 V-MODEQA，其通过多输出模型从地图图像中提取结构化数据，对提取的数据进行推理，并取得了比目前最先进的图表问答和视觉问答算法更好的性能和鲁棒性。
choropleth mapsvisual-question answeringmapqav-modeqastructured data
发现论文，激发创造
  • ChiQA: 一个大规模基于图像的真实世界问题回答数据集，用于多模态理解

    这篇论文介绍了一个基于图像的新的问题回答数据集 ——ChiQA，其中问题是真实的、与图像无关的查询，相比于以往的数据集更为多样和不偏，要求更深入的语言和视觉推理，并评估了几个最先进的可视语言模型，显示出在 ChiQA 上仍有很大的提高空间。

    Aug, 2022

  • DVQA: 通过问答理解数据可视化

    DVQA 数据集是一个检测条形图理解能力的问答框架，与 VQA 相比，我们的方法可以处理特定条形图中独特的问题和答案，研究提出了两个高效的基线模型，其能够从科学出版物、互联网文章、商业报告等多种领域中自动提取数值和语义信息，这项工作将使算法能够自动从大量的条形图中提取信息。

    Jan, 2018

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • mChartQA：基於視覺語言對齊和推理的跨模態圖表問答通用基準

    该论文介绍了一种新颖的多模态图表问答模型，专门设计用于处理复杂的多模态任务，通过融合视觉和语言处理，克服了传统方法的局限性，采用双阶段训练方法，在处理色彩、结构和无文字图表问题方面表现出优异性能。

    Apr, 2024

  • PlotQA: 对科学图形的推理

    为了解决现有合成数据集无法包含现实世界情况和实际中的细节的问题，本研究提出了一个新的数据集 PlotQA，包含了 28.9 百万个问题 - 答案对，针对一些无法容纳在固定字典或图像中的实际问题，设计了一种混合方法的问题回答引擎，在 DVQA 和 PlotQA 上实现了显著的预测准确率提升。

    Sep, 2019

  • 视觉问答

    本文提出自由和开放的视觉问答（VQA）任务，旨在通过自然语言问题回答图片问题，涉及到图片理解、多种语言的回答以及数据集和评价方法。

    May, 2015

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • 面向复杂推理与常识理解的文档级图表问答

    在这项工作中，我们介绍了一项名为文档层次的图表问答 (DCQA) 的新任务，旨在通过文档布局分析 (DLA) 首先提取文档中的图表或绘图，然后进行图表问答 (CQA)，并开发了强大的问题 - 答案生成引擎，实现了视觉文档中图表的复杂推理和常识问题的 OCR-free 理解。

    Oct, 2023

  • FigureQA：一份为视觉推理而注释的图像数据集

    FigureQA 是一个视觉推理语料库，包含超过一百万个基于 100,000 张图像的问题 - 答案对。图像来自五个类别的合成科学式图形：线图、点线图、垂直和水平条形图以及饼状图。通过从 15 个模板中生成问题并提供用于训练机器学习模型的附属数据，FigureQA 为开发可以直观地识别数据可视化中的模式的模型迈出了第一步。

    Oct, 2017

  • WebQA：多跳和多模态 QA

    本论文中，我们提出了 WebQA，它引入了一个具有挑战性的新测量标准，该标准涉及大规模最先进模型的困难之处，缺乏新颖对象的语言基础视觉表达和推理能力，但对人类来说却很简单。我们的社区挑战是创建统一的多模态推理模型，这些模型可以回答问题，而不考虑源模态，从而使我们更接近不仅查询语言知识，而且查询更丰富的视觉在线世界的数字助手。

    Sep, 2021