ICLROct, 2017

FigureQA：一份为视觉推理而注释的图像数据集

PDF
TL;DRFigureQA 是一个视觉推理语料库，包含超过一百万个基于 100,000 张图像的问题 - 答案对。图像来自五个类别的合成科学式图形：线图、点线图、垂直和水平条形图以及饼状图。通过从 15 个模板中生成问题并提供用于训练机器学习模型的附属数据，FigureQA 为开发可以直观地识别数据可视化中的模式的模型迈出了第一步。
figureqavisual reasoningquestion-answersynthetic imagesmachine learning
发现论文，激发创造
  • PlotQA: 对科学图形的推理

    为了解决现有合成数据集无法包含现实世界情况和实际中的细节的问题，本研究提出了一个新的数据集 PlotQA，包含了 28.9 百万个问题 - 答案对，针对一些无法容纳在固定字典或图像中的实际问题，设计了一种混合方法的问题回答引擎，在 DVQA 和 PlotQA 上实现了显著的预测准确率提升。

    Sep, 2019

  • GQA：一个适用于真实世界视觉推理和组合问答的新数据集

    GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

    Feb, 2019

  • ChartQA: 针对图表的问题回答的视觉和逻辑推理基准

    本文提出了一个大规模基准测试，包括 9.6K 个人为编写的问题和 23.1K 个由人类编写的图表摘要生成的问题，并运用两种基于 Transformer 的模型来回答问题，这些模型将图表的视觉特征和数据表统一起来处理来解决目标检测中的视觉和逻辑推理等问题。

    Mar, 2022

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 基于推理和序列级训练的图像描述生成

    本文探讨了图标题问题，提出了一个基于 FigureQA 数据集的新数据集 FigCAP，同时提出了 Label Maps Attention 和 Relation Maps Attention 两种新型关注机制，以及采用强化学习进行序列级训练以优化评估指标，从而改善长标题的生成并在广泛实验中取得显著优于基线的表现，具有自动生成各种图形标签的巨大潜力。

    Jun, 2019

  • IconQA：一个新的抽象图形理解和视觉语言推理基准

    本论文介绍了一个新的图标问答（IconQA）挑战，使用包含 107,439 个问题和三个子任务的 IconQA 数据集（Icon645）作为基础，并提出了一个强大的基线模型 Patch-TRM。

    Oct, 2021

  • 面向复杂推理与常识理解的文档级图表问答

    在这项工作中，我们介绍了一项名为文档层次的图表问答 (DCQA) 的新任务，旨在通过文档布局分析 (DLA) 首先提取文档中的图表或绘图，然后进行图表问答 (CQA)，并开发了强大的问题 - 答案生成引擎，实现了视觉文档中图表的复杂推理和常识问题的 OCR-free 理解。

    Oct, 2023

  • RealCQA: 科学图表问答作为一阶逻辑的测试平台

    我们在真实世界的图表中对图表视觉问答任务进行了全面的研究，提出了一种基于模板的图表问题创建的新型分类法，并引入了一个包含新答案类型的数据集，从而为模型的一阶逻辑能力评估提供了一个标准，该研究通过对真实世界超出分布的数据集的实验结果，对大规模预训练模型进行了稳健评估，并推进了图表视觉问答和神经网络的形式逻辑验证领域。

    Aug, 2023

  • 视觉问答中的场景图推理

    我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在 GQA 数据集上已达到接近人类水平的效果。

    Jul, 2020

  • FormulaQA：一个基于公式的数值推理问答数据集

    通过使用存在的公式驱动的 FormulaQA 数据集，得出了使用检索增强的 LLMs 模型结合外部公式数据库时对现有模型具有重要改进潜力的实证结果。

    Feb, 2024