本文提出了一个大规模基准测试，包括 9.6K 个人为编写的问题和 23.1K 个由人类编写的图表摘要生成的问题，并运用两种基于 Transformer 的模型来回答问题，这些模型将图表的视觉特征和数据表统一起来处理来解决目标检测中的视觉和逻辑推理等问题。

Mar, 2022

本研究提出了针对图表的强化学习模型 UniChart，使用预训练技术结合低 - 高层次任务训练，使得在图表问答和图表总结等下游任务上都具有最先进的表现。

May, 2023

为了解决现有视觉问答模型在图表问题上的不足，本研究通过行为分析，提出了三个简单的预训练任务以改进现有模型的结构 - 视觉知识和对数字问题的理解，将预训练模型（MatCha-v2）应用在三个图表数据集上，相比基准模型，性能平均提升了 1.7%。

Jun, 2024

通过引入 ChartInstruct 数据集和两种不同的系统，我们展示了一种针对图表相关任务的指令调节方法，提供了广泛适用性和高效性。

Mar, 2024

该论文介绍了一种新颖的多模态图表问答模型，专门设计用于处理复杂的多模态任务，通过融合视觉和语言处理，克服了传统方法的局限性，采用双阶段训练方法，在处理色彩、结构和无文字图表问题方面表现出优异性能。

Apr, 2024

调查了当前用于图表分类的最新技术，并对最近发布的 CHARTINFO UB-UNITECH PMC 数据集进行了广泛的性能比较分析，实现了一种基于视觉的 Transformer 模型，取得了在图表分类方面顶尖的结果。

Jul, 2023

我们提出了一种名为 SIMPLOT 的方法，该方法能够仅提取图表推理所需的要素，通过对表格进行推理实现准确的图表推理，并解决了最近一种最先进的模型忽略颜色等视觉属性的缺点。

Feb, 2024

数据可视化是呈现数据和挖掘其有价值洞见的关键手段。通过自然语言处理技术，图表总结任务促进了对图表的深入数据分析。本研究构建了一个大规模的全面图表 - 标题数据集，提供了每个图表的微调指导，以解决现有方法在视觉 - 语言匹配和推理能力方面存在的明显不足。基于这个数据集的广泛覆盖范围，可以实现更好的训练数据视角匹配度。此外，我们提出了一种创新的图表总结方法 ChartThinker，它基于思维链和上下文检索策略合成了深层分析，旨在提高生成摘要的逻辑连贯性和准确性。在精心策划的数据集基础上，我们训练的模型在图表总结任务中始终表现出优越性能，在 7 个评估指标上超过了 8 种最先进的模型。我们的数据集和代码可公开访问。

Mar, 2024

介绍了一种名为 ChartT5 的 V+L 模型，通过对绘图表格对进行跨模态预训练学习，具备了解释图表信息的能力，其采用的两种新颖预训练目标 Masked Header Prediction (MHP) 和 Masked Value Prediction (MVP) 有效提高了模型的表格信息解释能力，在答题和总结图表方面的表现都超过了同类方法 8% 以上。

May, 2023

ChartReader 是一个统一的框架，它无缝地集成了图表 derendering 和理解任务。它使用基于转换器的图表组件检测模块和扩展的预训练视觉语言模型进行学习，该方法通过从注释数据集中自动学习图表规则来消除手动规则制定的需求，同时提高准确性。它在图表到表格、ChartQA 和图表到文本任务上进行评估，证明其优于现有方法。

Apr, 2023