Aug, 2023

SciGraphQA：面向科学图表的大规模合成多轮问答数据集

HTML
PDF
TL;DR本文介绍了SciGraphQA，这是一个与学术图表相关的合成多轮问答数据集，它是迄今为止最大的非合成图表视觉问答数据集，使用Palm-2从计算机科学和机器学习ArXiv论文中生成了295K个开放式多轮问答对话样本，并通过GPT-4评估了问题-回答的匹配质量。最后，通过利用从图表中提取的序列化数据表格和DePlot模型，使用LLaVA-13B进行了进一步的改进，最终的评估CIDEr为0.26。
发现论文，激发创造
  • DVQA: 通过问答理解数据可视化

    DVQA 数据集是一个检测条形图理解能力的问答框架，与 VQA 相比，我们的方法可以处理特定条形图中独特的问题和答案，研究提出了两个高效的基线模型，其能够从科学出版物、互联网文章、商业报告等多种领域中自动提取数值和语义信息，这项工作将使算法能够自动从大量的条形图中提取信息。

    Jan, 2018

  • NOAHQA: 可解释计算图的数值推理问答数据集

    介绍一个双语问答数据集NOAHQA，旨在解决目前数值推理问题缺乏复杂问题以及提供推理过程的可解释性问题，通过使用NOAHQA数据集，开发了一个可解释的推理图，并提出了适当的评估指标来衡量答案质量。在NOAHQA上对现有QA模型进行评估，表明人类表现为89.7，最好的QA模型只能达到55.5的准确匹配分数。

    Sep, 2021

  • MapQA：面向分级地图的问答数据集

    本研究提出了一个名为MapQA的大规模数据集，其中包含大约60,000张地图图像中的约800,000个问题-答案对。同时，本研究提出了一种新算法V-MODEQA，其通过多输出模型从地图图像中提取结构化数据，对提取的数据进行推理，并取得了比目前最先进的图表问答和视觉问答算法更好的性能和鲁棒性。

    Nov, 2022

  • RealCQA: 科学图表问答作为一阶逻辑的测试平台

    我们在真实世界的图表中对图表视觉问答任务进行了全面的研究，提出了一种基于模板的图表问题创建的新型分类法，并引入了一个包含新答案类型的数据集，从而为模型的一阶逻辑能力评估提供了一个标准，该研究通过对真实世界超出分布的数据集的实验结果，对大规模预训练模型进行了稳健评估，并推进了图表视觉问答和神经网络的形式逻辑验证领域。

    Aug, 2023

  • CR-LT-KGQA：一个需要常识推理和长尾知识的知识图谱问答数据集

    在知识图谱问答（KGQA）领域中，我们创建了一个新颖的KGQA数据集，支持常识推理并专注于长尾实体，这些实体是大语言模型容易产生错误信息的对象，因此需要借助知识图谱进行准确、可归因的常识推理。这个新数据集具有两个子任务：问题回答和声明验证。它对基于大语言模型的方法产生了显著的幻觉问题，为未来常识KGQA研究铺平了道路，以提供关于长尾实体的准确和可信的答案。

    Mar, 2024

  • 逐步合成：用于基于推理的图表VQA的工具、模板和LLMs作为数据生成器

    通过数据增强和大型语言模型，提升图表问答模型的推理能力，将复杂问题分解为多个逐步推理子问题，并通过外部工具生成最终答案。使用合成数据进行训练，显著提高图表问答模型的准确性，达到了图表问答数据集的最高准确率。

    Mar, 2024

  • SciQAG: 自动生成科学问答数据集的框架及细粒度评估

    通过从科学文献中提取的信息，利用科学问答对生成的自动评估框架 SciQAG 表明，大型语言模型可用于从文献中提取关键知识的高质量科学问答对。

    May, 2024

  • LinkQ: 一个辅助LLM的可视化界面用于知识图谱问答

    LinkQ是一个通过自然语言问答来简化知识图谱查询构建的系统，它利用了大型语言模型来构建查询，使用户能够轻松地从知识图谱数据中获取有价值的信息，并通过迭代将开放性问题转化为精确问题，从而进行探索性和确认性数据分析。

    Jun, 2024

  • SPIQA: 一个供多模态科学论文问答使用的数据集

    通过多模式大语言模型理解科学研究文章中的复杂图表、多样化的图示、图表和结果可视化，我们引入了SPIQA（Scientific Paper Image Question Answering），这是第一个专门设计用于解释科学研究文章中的复杂图表和表格的大规模问答数据集。

    Jul, 2024

  • 未来图表：利用图表问答进行大规模评估基于LLM的数据可视化

    本文提出了一种新框架，通过视觉问答模型自动评估LLM生成的数据可视化，解决了传统评估方法依赖人工判断且成本高、不可扩展的问题。研究表明，尽管微调提示显著提升图表生成的准确性，但LLM生成的图表仍不及人类生成的图表精确，这强调了加速该领域研究的重要性。

    Sep, 2024