ChartReader是一个统一的框架，它无缝地集成了图表derendering和理解任务。它使用基于转换器的图表组件检测模块和扩展的预训练视觉语言模型进行学习，该方法通过从注释数据集中自动学习图表规则来消除手动规则制定的需求，同时提高准确性。它在图表到表格、ChartQA和图表到文本任务上进行评估，证明其优于现有方法。

Apr, 2023

本研究提出了针对图表的强化学习模型 UniChart，使用预训练技术结合低-高层次任务训练，使得在图表问答和图表总结等下游任务上都具有最先进的表现。

May, 2023

通过更复杂的视觉逻辑和引入 ChartBench 基准，准确衡量 MLLMs 在图表数据中的基本理解能力和数据可靠性，并揭示了它们的局限性，以激发研究界对 MLLMs 的图表理解能力更加关注。

Dec, 2023

通过ChartAssistant这一基于图表的视觉语言模型，本研究提出了一种解决图表理解的通用模型，经实验证明在各种图表任务上取得了显著性能提升。

Jan, 2024

通过引入ChartInstruct数据集和两种不同的系统，我们展示了一种针对图表相关任务的指令调节方法，提供了广泛适用性和高效性。

Mar, 2024

TinyChart是一个有效的MLLM图表理解框架，仅含3B个参数，通过采用思维程序（PoT）学习策略和视觉令牌合并模块，成功解决了图表理解过程中的计算负担和高分辨率图像的视觉特征序列长度问题，并在多个图表理解任务中达到了最先进性能。

Apr, 2024

本研究通过对大型视觉语言模型（LVLMs）的全面评估，揭示了它们在图表理解和推理任务中的优势和局限性，并提供了未来研究的启示。

Jun, 2024

多模态大语言模型（MLLMs）在实际任务（如分析科学论文或财务报告）中应用图标理解起着重要作用。然而，现有数据集通常只关注模板化问题的简化和同质化图表，导致对进展的过于乐观的衡量。我们在这项工作中提出了CharXiv，这是一个综合评估套件，包括来自arXiv论文的2,323个自然、具有挑战性和多样化的图表。CharXiv包括两种类型的问题：1）描述性问题，涉及基本图表元素的检查；2）推理问题，需要综合图表中复杂的视觉元素的信息。我们的结果显示了最强专有模型（GPT-4o）的推理能力（47.1%准确率）与最强开源模型（InternVL Chat V1.5）（29.2%准确率）之间存在一个被低估的差距。所有模型远远落后于80.5%的人类表现，凸显了现有MLLMs在图表理解能力方面的不足。我们希望CharXiv通过提供更加真实和忠实的进展衡量，促进未来的MLLM图表理解研究。

Jun, 2024

通过直接从图表图像中生成的指导调优数据对ChartGemma模型进行训练，捕捉到高级趋势和低级视觉信息，实现了在图表摘要、问题回答和事实核查等领域的最新结果，并通过对现实世界图表的精心定性研究表明，ChartGemma生成的摘要更加逼真和事实正确。

Jul, 2024

本文提出了一种新框架，通过视觉问答模型自动评估LLM生成的数据可视化，解决了传统评估方法依赖人工判断且成本高、不可扩展的问题。研究表明，尽管微调提示显著提升图表生成的准确性，但LLM生成的图表仍不及人类生成的图表精确，这强调了加速该领域研究的重要性。

Sep, 2024