我们提出了一种基于数学误解的大型语言模型（LLM）数学推理能力的新评估方法。我们通过模拟LLMs作为初学者和专家导师，旨在识别由于特定误解导致的错误答案，并识别一个错误答案背后的误解。与传统基于LLMs的数学评估侧重于正确回答数学问题不同，我们的方法受到教育学习科学原则的启发。我们要求LLMs明确地模仿初学者通过基于不完整知识的特定错误方式回答问题，并模仿专家导师识别与问题的错误答案相对应的误解。通过简单的小学数学问题实验，我们发现，尽管LLMs可以轻松正确回答这些问题，但它们难以识别：1）与特定不完整知识（误解）相对应的错误答案；2）解释特定错误答案的误解。我们的研究指出了增强LLMs数学推理能力的新机会，尤其是在教育应用中开发健壮的学生模拟和专家辅导模型方面。

Oct, 2023

数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的LLM技术范围、影响LLMs解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

Jan, 2024

本研究通过分析GPT-4在回答数学问题中的表现，探讨了大型语言模型在复杂的数学问题解决中的局限性和不足，为未来人工智能驱动的数学推理的研究和进展奠定了基础。

Mar, 2024

自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中MAmmoTH-13B表现出了最高的能力水平，成为解决NCERT数学问题的可靠基准。

Apr, 2024

智能辅导系统中的自动反馈组件通常采用基于模板的方法，但在开放式数学问题中存在大量不同的错误类型。本研究使用大型语言模型来生成开放式数学问题的反馈，发现尽管能够学习反馈的格式，但无法完全理解学生的数学错误。

May, 2024

本研究解决了语言模型在数学推理问题上的能力与过程缺口，通过一系列受控实验探讨了语言模型是否真正具备推理技能，及其思维过程的隐秘机制。研究发现，语言模型在处理数学问题时展现出的推理过程和错误来源，为更好的理解大规模语言模型提供了重要的见解。

Jul, 2024

本文研究了语言模型在数学能力方面的评估，特别是其识别数学技能和概念的能力。研究贡献了两个数据集，揭示了语言模型在关联数学题与标准时的不足，以及生成不完全符合标准的问题。本研究的关键发现是，语言模型在映射问题与教育标准时表现出显著的差距，对今后教育技术的发展具有重要影响。

Aug, 2024

本研究探讨了语言模型在数学能力方面的评估缺口，提出了通过教育标准来分析语言模型理解数学技能的能力。我们开发了两个数据集，发现语言模型在标记和验证与问题相关的标准时存在困难，并且生成的问题往往与标准不完全一致。这项研究为理解语言模型解决某些数学问题的难易程度提供了新的视角。

Aug, 2024

该研究解决了现有的大规模语言模型在数学推理任务中缺乏全面基准测试的问题。通过比较七种最先进的学习算法在五个广泛使用的数学数据集上的表现，研究揭示了大型基础模型在数学推理中的独立性能及其效率与效果之间的权衡。研究结果为教育等实际应用提供了重要的指导。

Aug, 2024

本研究解决了在智能辅导系统中生成有效教育提示的挑战，特别是针对学生的错误认识和教育目标。通过使用GPT-4o和Llama-3-8B-instruct生成提示，研究确认了特定错误提示在帮助学生自我纠正中的有效性，发现Llama-3-8B-Instruct的表现优于GPT-4o，表明模型设置对学习效果的影响。

Nov, 2024