Aug, 2024

MultiMath：为大型语言模型桥接视觉和数学推理

HTML
PDF
TL;DR本研究解决了目前开源大型语言模型在数学推理与视觉输入整合上的不足，提出了一种新的多模态大型语言模型MultiMath-7B。通过多阶段训练和构建丰富的MultiMath-300K数据集，该模型在现有的多模态数学基准上达到了最先进的性能，并在文本数学基准上也表现优异。
发现论文，激发创造
  • 多模式大型语言模型综述

    本文旨在追踪和总结MLLM的最新进展，包括MLLM的公式，技术和应用，以及现有的挑战和有前途的研究方向。

    Jun, 2023

  • 元数学：为大型语言模型建立自己的数学问题

    我们提出了一个名为MetaMath的精细调整的语言模型，专注于数学推理，实验证明MetaMath在数学推理方面表现优于开源语言模型。

    Sep, 2023

  • MathVista: 在视觉背景中评估基础模型的数学推理

    通过创建MathVista基准测试，研究提出了对于大型语言模型和大型多模态模型在数学推理和视觉背景下的能力的正式研究，并详细评估了11种不同模型的性能，为未来的通用AI代理的发展提出了挑战。

    Oct, 2023

  • 使用MATH-Vision数据库测量多模态数学推理

    我们通过提供一组全面多样的问题来评估大规模多模态模型的数学推理能力，并发现目前的模型在MATH-V数据集上与人类表现存在明显差距，强调了对大规模多模态模型的进一步发展的必要性，此外，我们的详细分类还允许对其错误进行全面分析，为未来的研究和开发提供有价值的见解。

    Feb, 2024

  • PuzzleVQA: 通过抽象视觉模式诊断语言模型的多模态推理挑战

    通过对抽象模式的基本概念进行评估，我们发现大型多模态模型在简单抽象模式上无法很好地泛化。通过对大型多模态模型的推理挑战进行系统分析，我们发现主要瓶颈在于较弱的视觉感知和归纳推理能力。

    Mar, 2024

  • MathVerse: 您的多模式LLM真正看到视觉数学问题中的图表吗？

    通过引入MathVerse基准测试，我们深入评估多模态大型语言模型（MLLMs）在解决视觉数学问题方面的能力，并提出了链式思维（CoT）评估策略以评估输出答案的细微推理步骤，以期为MLLMs的未来发展提供独特的见解。

    Mar, 2024

  • Math-LLaVA: 多模态大型语言模型的数学推理引导

    利用大型语言模型提高多模态数学推理能力的关键是多模态数学数据集的多样性和合成，其中MathV360K数据集和Math-LLaVA模型为此做出了显著贡献。

    Jun, 2024

  • Math-PUMA：渐进向上的多模态对齐以增强数学推理能力

    本研究解决了多模态大型语言模型在处理数学图表时的能力不足问题，特别是在信息从文本转向视觉时表现不佳。提出的Math-PUMA方法通过三阶段训练，特别关注对齐阶段，有效提升了语言模型的数学推理能力。实验结果表明，该方法显著缩小了不同模态问题的表现差距，提升了模型在数学推理基准测试中的性能。

    Aug, 2024

  • 中文多模态数学数据集CMM-Math：评估与提升大型多模态模型的数学推理能力

    本研究针对当前大型语言模型在数学推理方面的不足，提出了一个新的中文多模态数学数据集CMM-Math，以评估和提升大型多模态模型的数学推理能力。研究表明，尽管现有的最先进模型在CMM-Math数据集上表现尚可，但仍面临一些挑战，推动开发更强大的多模态数学模型的必要性。我们的Multimodal Mathematical LMM显示出显著提高数学推理能力的潜力。

    Sep, 2024

  • CMM-Math：一个评估和增强大型多模态模型数学推理能力的中文多模态数学数据集

    本研究针对当前中文多模态数学数据集的缺乏问题，提出了一种新的CMM-Math数据集，包含超过28,000个高质量样本，旨在评估和提升大型多模态模型的数学推理能力。通过分析，发现现有的先进模型在该数据集上的表现仍存在挑战，强调了在模型发展的进一步改进需求。

    Sep, 2024