该研究提供了一个数据集，用于评估流行的大型语言模型在小学数学的能力，并发现GPT-4是唯一能够在所有六个小学年级取得成功的模型，但我们对其进行了测试后发现只有GPT-4在算术问题和推理方面具有鲁棒性，其他模型均不具备鲁棒性。

Jun, 2023

本文首次探索和训练强大的多语种数学推理语言学习模型，通过利用翻译构建了首个多语种数学推理指令数据集MGSM8KInstruct，提出不同的训练策略，构建了名为MathOctopus的强大的多语种数学推理模型，其在少样本情况下表现优于传统开源模型和ChatGPT。

Oct, 2023

CMMMU是一个新的中国大规模多学科多模态理解基准，旨在评估大型多模态模型在中国语境中对要求大学级学科知识和深思熟虑推理的任务上的表现，并推动下一代LMMs的发展。

Jan, 2024

数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的LLM技术范围、影响LLMs解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

Jan, 2024

我们通过提供一组全面多样的问题来评估大规模多模态模型的数学推理能力，并发现目前的模型在MATH-V数据集上与人类表现存在明显差距，强调了对大规模多模态模型的进一步发展的必要性，此外，我们的详细分类还允许对其错误进行全面分析，为未来的研究和开发提供有价值的见解。

Feb, 2024

为了全面评估大型语言模型（LLMs）的数学推理能力，我们需要精心策划评估数据集，涵盖不同难度级别的各种数学概念和问题。为此，我们在本文中提出了FineMath，一个用于评估中文LLMs的细粒度数学评估基准数据集。FineMath涵盖了小学数学教学的主要数学概念，并进一步划分为17类数学应用问题，从而能够深入分析LLMs的数学推理能力。所有17类数学应用问题都根据解决这些问题所需的推理步骤数量进行手动注释其难度级别。我们在广泛的LLMs上对FineMath进行了大量实验，并发现中文LLMs的数学推理能力仍有相当大的提升空间。我们还对先前被忽视的评估过程和方法进行了深入分析。这两个因素显着影响了模型结果和我们对其数学推理能力的理解。该数据集将很快公开发布。

Mar, 2024

利用大型语言模型提高多模态数学推理能力的关键是多模态数学数据集的多样性和合成，其中MathV360K数据集和Math-LLaVA模型为此做出了显著贡献。

Jun, 2024

我们提出了一个名为CMMaTH的中文多模态数学技能评估基准，包含23k个中小学多模态数学相关问题，构成迄今最大的中文多模态数学问题基准。我们构建了一个与CMMaTH数据集集成的开源工具GradeGPT，以便稳定、快速和免费地评估模型性能。

Jun, 2024

本研究解决了目前开源大型语言模型在数学推理与视觉输入整合上的不足，提出了一种新的多模态大型语言模型MultiMath-7B。通过多阶段训练和构建丰富的MultiMath-300K数据集，该模型在现有的多模态数学基准上达到了最先进的性能，并在文本数学基准上也表现优异。

Aug, 2024

本研究针对当前大型语言模型在数学推理方面的不足，提出了一个新的中文多模态数学数据集CMM-Math，以评估和提升大型多模态模型的数学推理能力。研究表明，尽管现有的最先进模型在CMM-Math数据集上表现尚可，但仍面临一些挑战，推动开发更强大的多模态数学模型的必要性。我们的Multimodal Mathematical LMM显示出显著提高数学推理能力的潜力。

Sep, 2024