通过在大量数据集上进行多任务训练，我们展示了数值推理可以注入到预训练的语言模型中，使性能得到显著提高。在一个简单通用的 encoder-decoder 架构上训练，我们的模型 GenBERT 在 DROP 数据集上的性能可以达到与同等规模的最先进模型相媲美，同时在数学单词问题数据集上保持高性能，这种方法为延展技能到大型预训练语言模型提供了一般的解决方案。

Apr, 2020

提出一种信息论干预的新型框架，以克服向语言模型注入非语言技能时发生的语言技能灾难性遗忘，从而使语言模型在保留语言能力的同时也具备数学推理的能力。

Nov, 2022

我们使用ChatGPT等生成性大型语言模型从数学文本中提取数学概念，为自动术语提取和数学文本处理领域以及LLM研究作出贡献。我们的研究目标是在数学领域中通过自动提取术语（关键词）来建立模型，使用的语料库是在线期刊《Theory and Applications of Categories》的755个摘要，快照来自2020年左右。我们的研究与之前的工作不同之处在于：（1）更彻底分析了数学术语提取的困难之处；（2）关注了人工标注者之间的不一致性；（3）提供了一套人机标注者都可以使用的指南，以规范化提取过程；（4）引入了一种新的注释工具，帮助人类进行自动术语提取，适用于任何数学领域甚至数学之外的领域；（5）使用ChatGPT的提示作为提取过程的一部分，并提出了最佳实践；（6）提出了ChatGPT是否能够作为与人类专家在同一级别上的注释者的问题。我们的总体发现是，数学术语提取是一个有趣的领域，LLM的参与可能对该领域有所裨益，但目前LLM本身无法超过人类的表现水平。

Aug, 2023

我们提出了一个名为MetaMath的精细调整的语言模型，专注于数学推理，实验证明MetaMath在数学推理方面表现优于开源语言模型。

Sep, 2023

通过基于大规模数学文档的预训练，提高大型语言模型的推理能力并引入一个开放的数学网页数据集，从而促进大型语言模型的推理能力的进展。

Oct, 2023

该研究介绍了MathPile，这是一个高质量、大规模的数学专注语料库，包含约95亿个标记。通过复杂的预处理、预筛选、语言识别、清洁、过滤和去重等一系列严谨的数据收集和处理工作，确保了语料库的高质量。此外，还对下游基准测试集进行了数据污染检测以消除重复项。希望MathPile能够提高语言模型的数学推理能力，并计划开源不同版本的MathPile以及用于处理的脚本，以促进该领域的未来发展。

Dec, 2023

数学证明教育的关键词包括准时反馈、自然语言处理、自动分级自由形式数学证明、用户研究。

Jun, 2024

该研究解决了现有的大规模语言模型在数学推理任务中缺乏全面基准测试的问题。通过比较七种最先进的学习算法在五个广泛使用的数学数据集上的表现，研究揭示了大型基础模型在数学推理中的独立性能及其效率与效果之间的权衡。研究结果为教育等实际应用提供了重要的指导。

Aug, 2024

本研究解决了语言模型在推理任务中偶尔出现的错误问题。通过将“错误修正”数据直接引入预训练阶段，本文展示了该方法相比使用无误数据的预训练，能够显著提高语言模型的推理准确性，具有广泛的潜在影响。研究发现，此技术可实现单次自回归而无需多轮提示，从而简化推理过程。

Aug, 2024

本研究针对当前数学推理预训练数据集中缺乏直接针对数学推理的代码数据问题，提出了一种新颖的方法，通过高质量数据集结合数学相关网页数据、使用数学包的代码和数学教材等生成数学代码及其推理步骤。研究发现，使用生成的数据训练模型显著提升了其数学推理能力，形成了 MathCoder2 模型系列。

Oct, 2024