Oct, 2023

KwaiYiiMath 技术报告

PDF
TL;DRKwaiYiiMath enhances mathematical reasoning abilities by applying Supervised Fine-Tuning and Reinforced Learning from Human Feedback on English and Chinese mathematical tasks, achieving state-of-the-art performance on GSM8k, CMath, and a small-scale Chinese primary school mathematics test set named KMath.
large language modelsmathematical reasoning abilitiessupervised fine-tuningreinforced learning from human feedbackchinese primary school mathematics
发现论文，激发创造
  • SkyMath: 技术报告

    通过自我比较微调，SkyMath 增强了 Skywork-13B-Base 的数学推理能力，并在 GSM8K 上胜过了所有已知规模相似的开源模型，创造了新的 SOTA 性能。

    Oct, 2023

  • Mathify: 在数学问题求解任务上评估大型语言模型

    自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

    Apr, 2024

  • WizardMath：通过增强进化教学赋能大型语言模型的数学推理

    通过应用 RLEIF 方法于数学领域，我们提出了 WizardMath 以增强 Llama-2 的数学推理能力，实验证明我们的模型在 GSM8k 和 MATH 等数学推理评估上远超其他开源 LLMs，甚至胜过了 ChatGPT-3.5 等模型。

    Aug, 2023

  • 元数学：为大型语言模型建立自己的数学问题

    我们提出了一个名为 MetaMath 的精细调整的语言模型，专注于数学推理，实验证明 MetaMath 在数学推理方面表现优于开源语言模型。

    Sep, 2023

  • 常见七 B 语言模型已经具备强大的数学能力

    LLaMA-2 7B 模型通过简单的方法扩展数据样本，证明了其出色的数学能力及可靠性，适用于 GSM8K 和 MATH 基准测试，并提供了关于不同推理复杂性和错误类型的扩展行为的见解。

    Mar, 2024

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • JiuZhang：数学问题理解的中文预训练语言模型

    本研究旨在提高机器的数学智能，通过设计一种中文数学预训练语言模型，发展出一种新型的课程预训练方法来提高模型学习数学 PLM，并在离线 / 在线实验中获得了有效性的证明。

    Jun, 2022

  • MathScale: 数学推理的指令调优

    提出了一种简单且可扩展的方法，使用最新的大型语言模型（如 GPT-3.5）来生成高质量的数学推理数据。通过从种子数学问题中提取主题和知识点，构建概念图，并生成新的数学问题，最终创建了一个包含 200 万个数学问题 - 答案对的数学推理数据集（MathScaleQA）。通过对开源大型语言模型（如 LLaMA-2 和 Mistral）进行 Fine-tuning，MathScale-7B 在 Math Word Problems 基准测试（MwpBench）上取得了最先进的性能。

    Mar, 2024

  • MARIO：用代码解释器输出进行数学推理的再现性管道

    大型语言模型在自然语言理解任务中取得了显著的进展，但要实现真正的人工智能通用智能还存在差距，特别是在数学推理能力方面存在不足。本文通过丰富数据环境和引入一种新的数学数据集，该数据集具有使用 Python 代码解释器的能力，解决了这一挑战。此外，我们提出了一种旨在精调数学专用语言模型的可行、易复制的协议，在 GSM8K 和 MATH 数据集上显著提升了 7B 参数 LLM 性能。我们致力于推进 LLMs 中的数学推理领域，并且我们已经公开了模型检查点并将数据集公开可用，希望这将促进社区内的进一步研究和发展。

    Jan, 2024

  • 评估大型视觉语言模型在儿童数学奥林匹克竞赛上的表现

    通过评估最先进的大型视觉和语言模型在儿童奥林匹克数学竞赛中的数学推理能力，我们填补了当前科学文献中缺少的有关联合视觉和文本推理的系统分析，结果显示现代大型视觉和语言模型在高年级的问题解决能力越来越强，但缺乏解答针对年幼儿童设计的问题的基础知识，而且它们的能力似乎基于与儿童的数学和逻辑技能不同的推理类型。

    Jun, 2024