Dec, 2022

MatCha：利用数学推理和图表解渲染增强视觉语言预训练

PDF
TL;DRMatCha 通过数学推理与图解构造预训练，增强了视觉语言模型的建模能力，成功提高了如 PlotQA 和 ChartQA 等标准基准测试的表现，证实了该方法在更广泛的视觉语言任务上的有效性和可行性。
visual languagematchapretrainingplot deconstructionnumerical reasoning
发现论文，激发创造
  • 通过有效的预训练任务提升图表问答能力

    为了解决现有视觉问答模型在图表问题上的不足，本研究通过行为分析，提出了三个简单的预训练任务以改进现有模型的结构 - 视觉知识和对数字问题的理解，将预训练模型（MatCha-v2）应用在三个图表数据集上，相比基准模型，性能平均提升了 1.7%。

    Jun, 2024

  • 通过跨模态图表对模型进行预训练提升视觉和语言任务中的图表理解能力

    介绍了一种名为 ChartT5 的 V+L 模型，通过对绘图表格对进行跨模态预训练学习，具备了解释图表信息的能力，其采用的两种新颖预训练目标 Masked Header Prediction (MHP) 和 Masked Value Prediction (MVP) 有效提高了模型的表格信息解释能力，在答题和总结图表方面的表现都超过了同类方法 8% 以上。

    May, 2023

  • DePlot: 使用绘图表格转换的一次性视觉语言推理

    该论文提出了首个一次学习解决视觉语言推理的解决方案，其利用名为 DePlot 的模态转换模块，将绘图或图表的图像转换为线性化表格，并与大型语言模型结合使用，取得了 24％的进展。

    Dec, 2022

  • UniChart: 一个通用的视觉语言预训练模型，用于图表理解和推理

    本研究提出了针对图表的强化学习模型 UniChart，使用预训练技术结合低 - 高层次任务训练，使得在图表问答和图表总结等下游任务上都具有最先进的表现。

    May, 2023

  • ChartAssisstant：通过图表 - 表格预训练和多任务指导调优的通用图表多模态语言模型

    通过 ChartAssistant 这一基于图表的视觉语言模型，本研究提出了一种解决图表理解的通用模型，经实验证明在各种图表任务上取得了显著性能提升。

    Jan, 2024

  • 图表转文本：基于 Transformer 模型的自然语言描述生成

    本论文提出了一种基于神经网络的模型来自动生成数据可视化的自然语言摘要，使得即使视力受损的用户也能够获取数据可视化的重要见解。

    Oct, 2020

  • SIMPLOT：通过提炼要点增强图表问答

    我们提出了一种名为 SIMPLOT 的方法，该方法能够仅提取图表推理所需的要素，通过对表格进行推理实现准确的图表推理，并解决了最近一种最先进的模型忽略颜色等视觉属性的缺点。

    Feb, 2024

  • 基于图表的推理：从 LLMs 向 VLMs 的能力转移

    在 VLMs 中，我们提出了一种从 LLMs 转移能力的技术，通过改善图表表示和构建比原始训练集大 20 倍的数据集，合成图表的推理痕迹，最后使用多任务损失对模型进行微调，取得了令人满意的性能。

    Mar, 2024

  • mChartQA：基於視覺語言對齊和推理的跨模態圖表問答通用基準

    该论文介绍了一种新颖的多模态图表问答模型，专门设计用于处理复杂的多模态任务，通过融合视觉和语言处理，克服了传统方法的局限性，采用双阶段训练方法，在处理色彩、结构和无文字图表问题方面表现出优异性能。

    Apr, 2024

  • MathVerse: 您的多模式 LLM 真正看到视觉数学问题中的图表吗？

    通过引入 MathVerse 基准测试，我们深入评估多模态大型语言模型（MLLMs）在解决视觉数学问题方面的能力，并提出了链式思维（CoT）评估策略以评估输出答案的细微推理步骤，以期为 MLLMs 的未来发展提供独特的见解。

    Mar, 2024