本文介绍了 ChartSumm 数据集，它是一个大规模的基准数据集，由 84,363 个图表及其元数据和描述组成，涵盖了各种主题和图表类型。该数据集可用于生成短和长的摘要，用以提供给视障人士以及为其他数据驱动模型的训练提供基础。通过使用 ChartSumm 数据集进行大量实验，发现仍有调查的空间，如资料遗漏，产生幻觉，以及对图表中复杂趋势的不恰当解释。作者研究了扩展 ChartSumm 数据集以适用于其他语言的潜力，这使我们的数据集成为未来研究的有挑战性的基准。

Apr, 2023

本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

Mar, 2022

介绍了一种名为 ChartT5 的 V+L 模型，通过对绘图表格对进行跨模态预训练学习，具备了解释图表信息的能力，其采用的两种新颖预训练目标 Masked Header Prediction (MHP) 和 Masked Value Prediction (MVP) 有效提高了模型的表格信息解释能力，在答题和总结图表方面的表现都超过了同类方法 8% 以上。

May, 2023

我们构建了一个多模态评估集 ChartX，包括 18 种图表类型、7 种图表任务、22 个学科领域和高质量的图表数据，然后开发了一个新的视角来处理依赖可解释模式的多模态任务，即 ChartVLM。我们在 ChartX 评估集上评估了主流多模态大模型和我们的 ChartVLM，实验证明 ChartVLM 在图表相关能力上超越了通用的和与图表相关的大模型，达到了与 GPT-4V 可比较的结果。我们相信我们的研究可以为在创建更全面的图表评估集和开发更可解释的多模态模型方面的进一步探索铺平道路。

Feb, 2024

数据可视化是呈现数据和挖掘其有价值洞见的关键手段。通过自然语言处理技术，图表总结任务促进了对图表的深入数据分析。本研究构建了一个大规模的全面图表 - 标题数据集，提供了每个图表的微调指导，以解决现有方法在视觉 - 语言匹配和推理能力方面存在的明显不足。基于这个数据集的广泛覆盖范围，可以实现更好的训练数据视角匹配度。此外，我们提出了一种创新的图表总结方法 ChartThinker，它基于思维链和上下文检索策略合成了深层分析，旨在提高生成摘要的逻辑连贯性和准确性。在精心策划的数据集基础上，我们训练的模型在图表总结任务中始终表现出优越性能，在 7 个评估指标上超过了 8 种最先进的模型。我们的数据集和代码可公开访问。

Mar, 2024

从相似的图表图像中检索高质量的替代文本，以辅助用户生成准确的替代文本，并通过引入新的基准数据集、开发深度学习模型和设计用户界面来解决现有模型产生不准确或误导性信息的问题。

May, 2024

本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

Oct, 2020

为了解决现有视觉问答模型在图表问题上的不足，本研究通过行为分析，提出了三个简单的预训练任务以改进现有模型的结构 - 视觉知识和对数字问题的理解，将预训练模型（MatCha-v2）应用在三个图表数据集上，相比基准模型，性能平均提升了 1.7%。

Jun, 2024

通过自然语言推理对训练数据进行预处理，缩短输入序列的远程依赖关系并添加与图表相关的信息，可以显著降低神经图表摘要中的幻觉。

Aug, 2023

通过 ChartAssistant 这一基于图表的视觉语言模型，本研究提出了一种解决图表理解的通用模型，经实验证明在各种图表任务上取得了显著性能提升。

Jan, 2024