本研究通过对大型视觉语言模型（LVLMs）的全面评估，揭示了它们在图表理解和推理任务中的优势和局限性，并提供了未来研究的启示。

Jun, 2024

本研究的 Chart-to-text 数据集为基础，使用图像字幕和数据转换技术探索了从图表到文本的自然语言概括方法以及相应的神经网络模型，研究结果表明此方法对复杂模式和趋势的描述存在困难。

Mar, 2022

调查了当前用于图表分类的最新技术，并对最近发布的 CHARTINFO UB-UNITECH PMC 数据集进行了广泛的性能比较分析，实现了一种基于视觉的 Transformer 模型，取得了在图表分类方面顶尖的结果。

Jul, 2023

为了解决现有视觉问答模型在图表问题上的不足，本研究通过行为分析，提出了三个简单的预训练任务以改进现有模型的结构 - 视觉知识和对数字问题的理解，将预训练模型（MatCha-v2）应用在三个图表数据集上，相比基准模型，性能平均提升了 1.7%。

Jun, 2024

本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

Oct, 2020

本研究提出了针对图表的强化学习模型 UniChart，使用预训练技术结合低 - 高层次任务训练，使得在图表问答和图表总结等下游任务上都具有最先进的表现。

May, 2023

该研究综述介绍了基础模型在自动驾驶中的应用，探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用，并提供了基于模态和功能对基础模型的分类，同时指出了现有模型与创新自动驾驶方法之间的差距，并提出了填补这些差距的未来研究方向和路线图。

Feb, 2024

我们构建了一个多模态评估集 ChartX，包括 18 种图表类型、7 种图表任务、22 个学科领域和高质量的图表数据，然后开发了一个新的视角来处理依赖可解释模式的多模态任务，即 ChartVLM。我们在 ChartX 评估集上评估了主流多模态大模型和我们的 ChartVLM，实验证明 ChartVLM 在图表相关能力上超越了通用的和与图表相关的大模型，达到了与 GPT-4V 可比较的结果。我们相信我们的研究可以为在创建更全面的图表评估集和开发更可解释的多模态模型方面的进一步探索铺平道路。

Feb, 2024

ChartReader 是一个统一的框架，它无缝地集成了图表 derendering 和理解任务。它使用基于转换器的图表组件检测模块和扩展的预训练视觉语言模型进行学习，该方法通过从注释数据集中自动学习图表规则来消除手动规则制定的需求，同时提高准确性。它在图表到表格、ChartQA 和图表到文本任务上进行评估，证明其优于现有方法。

Apr, 2023

多模态大语言模型（MLLMs）在实际任务（如分析科学论文或财务报告）中应用图标理解起着重要作用。然而，现有数据集通常只关注模板化问题的简化和同质化图表，导致对进展的过于乐观的衡量。我们在这项工作中提出了 CharXiv，这是一个综合评估套件，包括来自 arXiv 论文的 2,323 个自然、具有挑战性和多样化的图表。CharXiv 包括两种类型的问题：1）描述性问题，涉及基本图表元素的检查；2）推理问题，需要综合图表中复杂的视觉元素的信息。我们的结果显示了最强专有模型（GPT-4o）的推理能力（47.1% 准确率）与最强开源模型（InternVL Chat V1.5）（29.2% 准确率）之间存在一个被低估的差距。所有模型远远落后于 80.5% 的人类表现，凸显了现有 MLLMs 在图表理解能力方面的不足。我们希望 CharXiv 通过提供更加真实和忠实的进展衡量，促进未来的 MLLM 图表理解研究。

Jun, 2024