使用数学数据集衡量数学问题解决能力

Mar, 2021

使用数学数据集衡量数学问题解决能力

Measuring Mathematical Problem Solving With the MATH Dataset

Dan Hendrycks, Collin Burns, Saurav Kadavath, Akul Arora, Steven Basart...

TL;DR介绍了一种新的 MATH 数据集，其中包含 12500 个具有挑战性的竞赛数学问题，每个问题都有全面的解决方案，可以用于教模型生成答案推导和解释。尽管研究者不断增加 Transformer 模型的预算和参数总数，但在 MATH 的准确性仍然相对较低，因此未来的研究可能需要更广泛的算法进步。

Abstract

Many intellectual endeavors require mathematical problem solving, but this skill remains beyond the capabilities of computers. To measure this ability in machine learning models, we introduce MATH, a new dataset

mathematical problem solving machine learning models math dataset transformer models algorithmic advancements

发现论文，激发创造

MATHWELL：扩展规模下的教育数学问题生成系统

使用语言模型自动生成的 K-8 数学题库，通过定期优化和专家标注的数据，得到了迄今规模最大的英语数学题库，其中有 20,490 个问题，其中 3,484 个经过领域专家评分，发现 MATHWELL 比其他方法生成的问题更容易求解、准确和适用，有 74% 的问题有可解答的解决方案，并满足所有标准。

Feb, 2024

Mathify: 在数学问题求解任务上评估大型语言模型

自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

Apr, 2024

MathOdyssey: 使用 Odyssey 数学数据对大型语言模型中的数学问题解决技能进行基准测试

该研究探讨了大型语言模型（LLMs）在数学问题求解方面的能力，并使用新开发的 “MathOdyssey” 数据集进行测试。研究结果显示，尽管 LLMs 在常规和中等难度任务上表现良好，但在奥林匹克级难度和复杂的大学水平问题上仍面临重大挑战，因此需要进一步研究来提高 LLMs 的数学推理能力。

Jun, 2024

MathScale: 数学推理的指令调优

提出了一种简单且可扩展的方法，使用最新的大型语言模型（如 GPT-3.5）来生成高质量的数学推理数据。通过从种子数学问题中提取主题和知识点，构建概念图，并生成新的数学问题，最终创建了一个包含 200 万个数学问题 - 答案对的数学推理数据集（MathScaleQA）。通过对开源大型语言模型（如 LLaMA-2 和 Mistral）进行 Fine-tuning，MathScale-7B 在 Math Word Problems 基准测试（MwpBench）上取得了最先进的性能。

Mar, 2024

训练验证程序员解决数学应用题

介绍一个 8.5K 高质量的语言多样的小学数学问题数据集 GSM8K，表明即便是最大的变压器模型仍然无法在多步数学推理方面实现高的测试性能，提出使用 verifiers 验证模型的正确性并通过排名选择最优解来提高性能。

Oct, 2021

推进几何问题求解：多模型评估的全面基准

通过 MM-MATH 数据集，该研究旨在评估多模态模型在几何计算领域的性能，发现当前模型从图像中解析和解释几何信息存在显著不足，强调评估方法应包括推理和过程正确性，以填补文本和图像理解方面的关键差距，以此激发进一步研究和发展，推动多模态模型能力的提升。

Apr, 2024

使用 MATH-Vision 数据库测量多模态数学推理

我们通过提供一组全面多样的问题来评估大规模多模态模型的数学推理能力，并发现目前的模型在 MATH-V 数据集上与人类表现存在明显差距，强调了对大规模多模态模型的进一步发展的必要性，此外，我们的详细分类还允许对其错误进行全面分析，为未来的研究和开发提供有价值的见解。

Feb, 2024

神经模型的数学推理能力分析

该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

Apr, 2019

MARIO：用代码解释器输出进行数学推理的再现性管道

大型语言模型在自然语言理解任务中取得了显著的进展，但要实现真正的人工智能通用智能还存在差距，特别是在数学推理能力方面存在不足。本文通过丰富数据环境和引入一种新的数学数据集，该数据集具有使用 Python 代码解释器的能力，解决了这一挑战。此外，我们提出了一种旨在精调数学专用语言模型的可行、易复制的协议，在 GSM8K 和 MATH 数据集上显著提升了 7B 参数 LLM 性能。我们致力于推进 LLMs 中的数学推理领域，并且我们已经公开了模型检查点并将数据集公开可用，希望这将促进社区内的进一步研究和发展。

Jan, 2024

MathQA: 基于操作的形式化方法实现可解释的数学问题求解

介绍了一个大规模的数学问题数据集和一个可解释的神经数学问题求解器，该求解器学习将问题映射到操作程序。使用新的表示语言，MathQA 数据集明确地注释了各种类型的问题的操作程序，同时提高了模型的性能和可解释性。通过自动问题分类，我们的实验结果在 MathQA 和 AQuA 数据集上均优于竞争基线，但仍显著低于人类表现，这表明该数据集为未来研究提出了新的挑战。

May, 2019