Apr, 2024

ChatGLM-Math: 使用自我批评流程提高大型语言模型在数学问题求解中的能力

PDF
TL;DR通过自我评审流程，大型语言模型（LLMs）能够在保持语言能力的同时提升数学问题解决能力，从而有效增强 LLMs 在实际应用中的性能。
large language modelsmathematical problem-solvingself-critique pipelinelll alignmentmathematics enhancement
发现论文，激发创造
  • Mathify: 在数学问题求解任务上评估大型语言模型

    自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

    Apr, 2024

  • MathChat：多轮交互中数学推理和指令遵循的基准评估

    这篇论文介绍了一个专门设计用来评估大型语言模型在更广泛的数学任务上的 MathChat 基准测试，并观察到这些模型在单回合问题回答方面表现出色，但在需要持续推理和对话理解的复杂场景下性能显著下降。通过开发 MathChat sync 这样一个用于提升模型对话能力和指令跟随能力的合成对话型数学数据集，实验结果强调了使用类似 MathChat sync 这样多样化的对话指令微调数据集训练大型语言模型的必要性。作者认为这项工作为改进大型语言模型的多轮数学推理能力指明了一个有希望的方向，推动了更擅长交互式数学问题解决和实际应用的大型语言模型的发展。

    May, 2024

  • MARIO：用代码解释器输出进行数学推理的再现性管道

    大型语言模型在自然语言理解任务中取得了显著的进展，但要实现真正的人工智能通用智能还存在差距，特别是在数学推理能力方面存在不足。本文通过丰富数据环境和引入一种新的数学数据集，该数据集具有使用 Python 代码解释器的能力，解决了这一挑战。此外，我们提出了一种旨在精调数学专用语言模型的可行、易复制的协议，在 GSM8K 和 MATH 数据集上显著提升了 7B 参数 LLM 性能。我们致力于推进 LLMs 中的数学推理领域，并且我们已经公开了模型检查点并将数据集公开可用，希望这将促进社区内的进一步研究和发展。

    Jan, 2024

  • LLM 能掌握数学吗？研究大型语言模型在数学 Stack Exchange 上

    本研究通过分析 GPT-4 在回答数学问题中的表现，探讨了大型语言模型在复杂的数学问题解决中的局限性和不足，为未来人工智能驱动的数学推理的研究和进展奠定了基础。

    Mar, 2024

  • SciGLM: 自反射训练科学语言模型的指令注释和调整

    SciGLM 是一套科学语言模型，通过自我反思指令注释框架解决科学领域的数据稀缺性问题，并使用 SciInstruct 数据集进行 Fine-tuning，提高了科学和数学推理的能力。

    Jan, 2024

  • 优化大规模语言模型微调以解决数学问题

    尽管大型语言模型在许多自然语言任务中取得了成功，但解决数学问题仍然是一个巨大的挑战。本研究通过使用 MATH 数据集，探索了三种微调策略，即解决方案微调、解决方案聚类重新排序和多任务顺序微调，并发现这些方法可以显著提高模型的性能。

    Oct, 2023

  • 挑战性数学问题求解的 GPT-4 实证研究

    本文探索使用 GPT-4 解决更复杂的数学问题，并评估了各种使用 GPT-4 的方法，包括作者提出的新的对话式解决框架 - MathChat。针对 MATH 数据集中的困难高中竞赛题进行了评估，结果表明所提出的对话式方法具有优势。

    Jun, 2023

  • 通过交互评估数学语言模型

    使用交互式评估方法评估大型语言模型在大学级数学推理方面的能力，为人工智能从业者和数学教授提供可行的建议，重点在于模型应该如何处理不确定性和人类纠错。

    Jun, 2023

  • MARIO Eval: 用数学评估你的数学 LLM 工具包

    大语言模型（LLMs）在解决数学问题等各种推理任务中得到了探索。我们引入了一个全面的数学评估工具包，不仅利用 python 计算代数系统（CAS）进行数值精度评估，还集成了一个可选的大语言模型（LLM），以验证工具包的有效性。

    Apr, 2024

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024