本文提出了一个联合学习的模型 “JiuZhang 2.0”，这个模型通过 Mixture-of-Experts 架构建模，实现多任务求解，通过形式化的方式指出了如何采用跨任务共享思想来提高模型的问题求解能力，并提出了利用大型语言模型集成化不断细化解决方案的方法，对模型的有效性进行了全面实验证明。

Jun, 2023

基于 GPT-4 的数据合成能力，我们提出了一种通过训练小型语言模型来合成数学问题，以高效生成足够高质量的预训练数据的有效方法，并在数学推理数据集上展现了最先进的性能。

May, 2024

KwaiYiiMath enhances mathematical reasoning abilities by applying Supervised Fine-Tuning and Reinforced Learning from Human Feedback on English and Chinese mathematical tasks, achieving state-of-the-art performance on GSM8k, CMath, and a small-scale Chinese primary school mathematics test set named KMath.

Oct, 2023

近年来，在数学领域中，利用语言模型（LMs）取得了显著进展，本文从任务和方法论两个不同的角度对数学 LMs 进行了全面的调查和分类，揭示出大量的数学 LLMs 和超过 60 个数学数据集的应用和研究。

Dec, 2023

自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

Apr, 2024

本技术报告介绍了我们的预训练模型 Mengzi，它是一种轻量但功能强大、多模式的预训练模型，经过我们优化的预训练和微调技术，已经在广泛使用的 CLUE 基准上取得了最新的最佳结果。

Oct, 2021

利用代理人的方式，通过对数学推理过程进行细致的分解和建模，增强大型语言模型（LLMs）的能力，通过形式化的数学解决方案描述和基于代理人的零尝试框架 PRER（Planner-Reasoner-Executor-Reflector）扩展 LLMs，并实现了适应 LLMs 和人类的数学代理人，实验表明 PRER 和所提出的 MathAgents 的有效性及对 LLMs 行为的更深入的分析结果。

Dec, 2023

本文提出一种基于英文与中文标注数据的新型评估基准，旨在测试预训练语言模型在语法、语义、知识、推理和计算等多个方面的能力，并提供满足充分性和紧凑性的标注标记级别的理由，以及人性化的实例扰动，从而使用照常理性度量：诚实度的角度。实验结果表明，预训练语言模型在知识和计算方面表现非常糟糕；尤其是在理由较短的情况下，其所有维度上的可信度都远远不足够，并且在语法感知数据上评估的预训练语言模型不稳健。

Jul, 2022

数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

Jan, 2024

提出了一种新的预训练模型 MathBERT，该模型通过联合训练数学公式及其上下文信息，并根据操作树中提取的掩码公式子结构进行设计，以捕捉公式的语义结构特征，同时在数学信息检索、公式主题分类和公式标题生成等三个任务中取得了显著的超出现有方法的表现

May, 2021