Math-LLaVA: 多模态大型语言模型的数学推理引导

Jun, 2024

Math-LLaVA: 多模态大型语言模型的数学推理引导

Math-LLaVA: Bootstrapping Mathematical Reasoning for Multimodal Large Language Models

Wenhao Shi, Zhiqiang Hu, Yi Bin, Junhua Liu, Yang Yang...

TL;DR利用大型语言模型提高多模态数学推理能力的关键是多模态数学数据集的多样性和合成，其中 MathV360K 数据集和 Math-LLaVA 模型为此做出了显著贡献。

Abstract

large language models (LLMs) have demonstrated impressive reasoning capabilities, particularly in textual mathematical problem-solving. However, existing open-source image instruction fine-tuning datasets, containing limited question-answer pairs per image, do not fully exploit visual

large language models multimodal mathematical reasoning mathv360k dataset math-llava dataset diversity

发现论文，激发创造

使用 MATH-Vision 数据库测量多模态数学推理

我们通过提供一组全面多样的问题来评估大规模多模态模型的数学推理能力，并发现目前的模型在 MATH-V 数据集上与人类表现存在明显差距，强调了对大规模多模态模型的进一步发展的必要性，此外，我们的详细分类还允许对其错误进行全面分析，为未来的研究和开发提供有价值的见解。

Feb, 2024

G-LLaVA：多模态大型语言模型解决几何问题

利用图像输入，通过理解几何问题，使大型语言模型能够解决几何问题，构建了一个丰富的多模态几何数据集 Geo170K，发展了 G-LLaVA，在 MathVista 基准测试上以仅有 7B 参数显著优于 GPT-4-V。

Dec, 2023

MathVista: 在视觉背景中评估基础模型的数学推理

通过创建 MathVista 基准测试，研究提出了对于大型语言模型和大型多模态模型在数学推理和视觉背景下的能力的正式研究，并详细评估了 11 种不同模型的性能，为未来的通用 AI 代理的发展提出了挑战。

Oct, 2023

MM-PhyQA：多模态物理问题回答与多图 CoT 提示

利用现有模型对多步骤物理推理任务进行评估，通过引入多模态元素的高中级别物理问题的新数据集 MM-PhyQA，测试了包括 GPT-4 和 LLaVA 在内的多个大型语言模型的性能，并展示了基于 MI-CoT 提示技术的 LLaVA-1.5 13b 模型在测试集上的最佳结果，具有最高的 71.65% 准确率。

Apr, 2024

元数学：为大型语言模型建立自己的数学问题

我们提出了一个名为 MetaMath 的精细调整的语言模型，专注于数学推理，实验证明 MetaMath 在数学推理方面表现优于开源语言模型。

Sep, 2023

提升大型视觉 - 语言模型对科学理解的多模态 ArXiv 数据集

通过引入多模态 ArXiv 数据集，包括图像标题数据集 ArXivCap 和基于科学图表产生的问答数据集 ArXivQA，以提高大型视觉 - 语言模型（LVLMs）在科学理解方面的能力，并通过四个视觉到文本任务对 LVLMs 进行了基准评估，结果表明 LVLMs 在学术图表的微妙语义理解方面存在困难，特定领域的训练能够显著提高性能。

Mar, 2024

MuMath-Code：结合多角度数据增强的数学推理工具使用大型语言模型

我们提出了一种结合外部工具和数据增强的方法，并采用两阶段的训练策略，以实现数学推理能力的增强。经过大量实验证明，我们的方法在数学推理任务上取得了新的最佳性能。

May, 2024

MathVerse: 您的多模式 LLM 真正看到视觉数学问题中的图表吗？

通过引入 MathVerse 基准测试，我们深入评估多模态大型语言模型（MLLMs）在解决视觉数学问题方面的能力，并提出了链式思维（CoT）评估策略以评估输出答案的细微推理步骤，以期为 MLLMs 的未来发展提供独特的见解。

Mar, 2024

描述 - 理由：通过视觉理解训练改进多模态数学推理

通过视觉理解训练和数学推理学习，我们提出了一种名为 VCAR 的两步训练方法，以改善多模态大型语言模型在复杂数学推理中的表现。实验证明，VCAR 在高视觉要求的问题上明显优于仅依赖推理监督的基线方法。

Apr, 2024

使用合成数据探索大型语言模型的数学外推

通过对高质量合成数据的微调，本文通过提出的算术难题问题展示出大型语言模型在多步推理任务上的出色表现，并通过开源的 3B 模型在三个不同的测试数据集上实验结果表明，这种模型不仅在域内数据集上能够达到 0.44 的零样本一次通过率 @1，而且还在域外数据集上展现出一定的泛化能力，对于扩展数字范围和算术难题问题的组合组件分别设计了两个域外数据集，在这两个更难的任务上，经过微调的模型展示出令人鼓舞的表现，零样本一次通过率 @1 分别为 0.33 和 0.35。

Jun, 2024