Feb, 2024

MATHWELL：扩展规模下的教育数学问题生成系统

PDF
TL;DR使用语言模型自动生成的 K-8 数学题库，通过定期优化和专家标注的数据，得到了迄今规模最大的英语数学题库，其中有 20,490 个问题，其中 3,484 个经过领域专家评分，发现 MATHWELL 比其他方法生成的问题更容易求解、准确和适用，有 74% 的问题有可解答的解决方案，并满足所有标准。
发现论文，激发创造
  • 使用数学数据集衡量数学问题解决能力

    介绍了一种新的 MATH 数据集，其中包含 12500 个具有挑战性的竞赛数学问题，每个问题都有全面的解决方案，可以用于教模型生成答案推导和解释。尽管研究者不断增加 Transformer 模型的预算和参数总数，但在 MATH 的准确性仍然相对较低，因此未来的研究可能需要更广泛的算法进步。

    Mar, 2021

  • 通过生成问题语句的语言变体来求解数学应用题

    该论文提出了一种用于解决数学问题的框架，该框架基于生成问题文本的语言变体，利用 DeBERTa 编码器构建解决方案表达式，通过对每个变体问题进行求解并选出获得大多数选票的预测表达式来改善数学推理和模型的鲁棒性。

    Jun, 2023

  • 自然语言处理模型在初等数学中为何犯错？ 基于深度学习的解决数学应用题的调查

    本研究论文从近十年开始，对自动解决数学单词问题的算法进行了批判性评估和未来研究规划，主要关键词为数学单词问题、算法、深度学习模型、数据集设计和研究。

    May, 2022

  • 训练验证程序员解决数学应用题

    介绍一个 8.5K 高质量的语言多样的小学数学问题数据集 GSM8K，表明即便是最大的变压器模型仍然无法在多步数学推理方面实现高的测试性能，提出使用 verifiers 验证模型的正确性并通过排名选择最优解来提高性能。

    Oct, 2021

  • 基于常识知识图谱和方程式的数学应用题生成

    本研究提出了一种通过神经网络模型从常识知识图谱和方程式中生成多样化数学单词问题的方法，并在教育评估方面表现出优越性，其中自规划模块实现了方程和常识知识信息的自动融合。

    Oct, 2020

  • Mathify: 在数学问题求解任务上评估大型语言模型

    自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

    Apr, 2024

  • 数学单词问题生成与数学一致性及问题背景约束

    本文提出了一种新颖的数学语文问题生成方法，该方法结合了预训练的语言模型和上下文关键词选择模型，以提高所生成的数学语文问题的语言质量；而使用数学公式一致性约束来提高所生成的数学语文问题的数学有效性。经过大量的定量和定性实验，我们的方法相比各种基线方法都具有更好的性能。

    Sep, 2021

  • 自然语言处理模型真的能够解决简单的数学问题吗？

    该研究分析了现有的 NLP 求解器在解决低年级英语数学问题时的表现，指出现有求解器主要依赖于表面浅显的启发式策略。同时，研究提出了一个挑战数据集 SVAMP，并证明当前最优模型的表现还有很大的提升空间。

    Mar, 2021

  • 通过将语言模型与符号求解器相结合解决数学语言问题

    通过将大型语言模型与外部符号求解器相结合，我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法，并使用符号求解器解决问题，相较于 PAL 在解决代数类问题上性能提升了 20%。

    Apr, 2023

  • MathScale: 数学推理的指令调优

    提出了一种简单且可扩展的方法，使用最新的大型语言模型（如 GPT-3.5）来生成高质量的数学推理数据。通过从种子数学问题中提取主题和知识点，构建概念图，并生成新的数学问题，最终创建了一个包含 200 万个数学问题 - 答案对的数学推理数据集（MathScaleQA）。通过对开源大型语言模型（如 LLaMA-2 和 Mistral）进行 Fine-tuning，MathScale-7B 在 Math Word Problems 基准测试（MwpBench）上取得了最先进的性能。

    Mar, 2024