CVPRMar, 2024

逐步合成：用于基于推理的图表 VQA 的工具、模板和 LLMs 作为数据生成器

PDF
TL;DR通过数据增强和大型语言模型，提升图表问答模型的推理能力，将复杂问题分解为多个逐步推理子问题，并通过外部工具生成最终答案。使用合成数据进行训练，显著提高图表问答模型的准确性，达到了图表问答数据集的最高准确率。
chart visual question answeringdata augmentationreasoning abilitylarge language modelsllm-augmented data
发现论文，激发创造
  • 从最少到最多：通过数据合成构建即插即用的视觉推理器

    我们探索了视觉 - 语言模型中的多步推理问题，并提出了一种新的数据合成方法，通过使用先生成较简单的子任务，并依赖开源模型来完成这些子任务，从而构建了 50000 个视觉推理示例，并通过监督微调开发了一种视觉推理器，可以显著改善四个视觉问答基准上的四个视觉 - 语言模型的推理能力。

    Jun, 2024

  • 基于图表的推理：从 LLMs 向 VLMs 的能力转移

    在 VLMs 中，我们提出了一种从 LLMs 转移能力的技术，通过改善图表表示和构建比原始训练集大 20 倍的数据集，合成图表的推理痕迹，最后使用多任务损失对模型进行微调，取得了令人满意的性能。

    Mar, 2024

  • ChartQA: 针对图表的问题回答的视觉和逻辑推理基准

    本文提出了一个大规模基准测试，包括 9.6K 个人为编写的问题和 23.1K 个由人类编写的图表摘要生成的问题，并运用两种基于 Transformer 的模型来回答问题，这些模型将图表的视觉特征和数据表统一起来处理来解决目标检测中的视觉和逻辑推理等问题。

    Mar, 2022

  • FinLLMs：用大型语言模型生成金融推理数据集的框架

    基于大型语言模型，通过使用常见的金融公式生成金融问题回答数据，FinLLMs 方法提供一种解决数据资源有限和注释成本高昂问题的方法。实验结果表明，由 FinLLMs 生成的合成数据有效地提升了金融领域几个大规模数值推理模型的性能，超过了两个常用基准金融问题回答数据集。

    Jan, 2024

  • 推进大型多模型：明确的推理链与视觉问题生成

    本文介绍了一种通过图像内容和文字指令进行显式推理的新方法，采用大型多模态模型（LMM），并引入了一个能够提问以获取必要知识以增强推理过程鲁棒性和可解释性的系统。实验结果表明我们的方法能够在面对模糊的视觉输入时，朝着更具鲁棒性、准确性和可解释性的 LMM 迈进。

    Jan, 2024

  • 多模态大型语言模型中的图推理图渲染

    本文探讨了在图推理任务中将视觉信息与文本信息相结合的可行性，并使用基准测试 GITQA 以及多模态 LLM 模型进行了实验证明了在图推理任务中使用文本和视觉信息相结合要好于单一模态。

    Feb, 2024

  • 面向复杂推理与常识理解的文档级图表问答

    在这项工作中，我们介绍了一项名为文档层次的图表问答 (DCQA) 的新任务，旨在通过文档布局分析 (DLA) 首先提取文档中的图表或绘图，然后进行图表问答 (CQA)，并开发了强大的问题 - 答案生成引擎，实现了视觉文档中图表的复杂推理和常识问题的 OCR-free 理解。

    Oct, 2023

  • SIMPLOT：通过提炼要点增强图表问答

    我们提出了一种名为 SIMPLOT 的方法，该方法能够仅提取图表推理所需的要素，通过对表格进行推理实现准确的图表推理，并解决了最近一种最先进的模型忽略颜色等视觉属性的缺点。

    Feb, 2024

  • RealCQA: 科学图表问答作为一阶逻辑的测试平台

    我们在真实世界的图表中对图表视觉问答任务进行了全面的研究，提出了一种基于模板的图表问题创建的新型分类法，并引入了一个包含新答案类型的数据集，从而为模型的一阶逻辑能力评估提供了一个标准，该研究通过对真实世界超出分布的数据集的实验结果，对大规模预训练模型进行了稳健评估，并推进了图表视觉问答和神经网络的形式逻辑验证领域。

    Aug, 2023

  • ChartBench：图表中的复杂可视推理基准

    通过更复杂的视觉逻辑和引入 ChartBench 基准，准确衡量 MLLMs 在图表数据中的基本理解能力和数据可靠性，并揭示了它们的局限性，以激发研究界对 MLLMs 的图表理解能力更加关注。

    Dec, 2023