Apr, 2024

SAAS：增强大型语言模型数学推理的解决能力放大策略

PDF
TL;DR本研究提出了一种新颖的学习方法，旨在增强大型语言模型的数学推理和问题解决能力。通过整合思维链和思维方案的学习，以解决数学问题为重点，提出了一种名为 SAAS 的顺序学习方法。经过广泛的性能比较实证研究，结果表明我们的 SAAS 在数学推理领域取得了最先进的性能。
learning approachmathematical reasoningproblem-solving abilitieschain-of-thoughtprogram-of-thought
发现论文，激发创造
  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • Olapa-MCoT：提升 LLMs 的中文数学推理能力

    这篇论文提出了基于 llama2-13B PLM 的深度语言模型 Olapa-MCoT，通过使用 SimRRHF 算法和错误数据再学习，主要优化了 Olapa-MCoT 的中文数学推理能力，实验结果表明中文数学推理准确率高达 50%，相比于 llama2-13B 提升了 36%；此外，英语推理能力的准确率也提高了近 4%。

    Dec, 2023

  • LLMs 数学推理中的数据能力边界的实证研究

    通过识别推理路径的最佳集合来确定推理路径增强的能力边界，通过不同类型的数据的最佳集合的混合来累积增强模型的不同能力，以较低的建设成本实现 SOTA 性能，并提供用于鲁棒性测试和教育应用的自动问题生成器。

    Feb, 2024

  • 脑启发的两阶段方法：模拟人类思维过程增强数学推理

    提出了一种名为 Brain 的新方法，通过模仿人类思维过程来增强数学推理能力，在生成规划时使用额叶模型，然后利用顶叶模型生成代码并执行以获得答案，在数学推理任务中取得了最先进的性能，并发现可以明确从自然语言、代码或正式语言中提取规划。

    Feb, 2024

  • SoLA：基于求解器层适应的 LLM 在逻辑推理中的应用

    对大型语言模型（LLMs）在逻辑推理中所面临的挑战，以及利用工具学习改变问题求解的过程进行了探讨。本文提出了一种新颖的解算器层自适应（SoLA）方法，通过将解算器作为 LLMs 的新层，以不同的方式引导解决方案朝着可满足性发展。通过利用 MaxSAT 作为桥梁，定义正向和反向转移梯度，使最终模型能够收敛到满足的解决方案或证明不可满足性。通过验证 SoLA 在各种数据集上的性能，实证证明了其在大规模问题求解的效率上相对于现有的符号求解器（包括 Z3 和 Kissat）和工具学习方法的持续优势。

    Feb, 2024

  • LLM 中的算术推理：Prolog 生成与排列

    使用大型语言模型来生成 Prolog 程序以解决数学问题，在 GSM8K 基准测试中，我们的 Prolog 算术问题解决方法在三个不同的大型语言模型中胜过了 Chain of Thought。我们提出对真值谓词进行排列组合，以通过数据增强方法来增加训练的健壮性。

    May, 2024

  • 大型语言模型用于数学推理的双向指导优化

    介绍了利用大型语言模型进行指令调优的最新进展，提出了一种双向指令调优策略，通过前向和后向推理任务来改善语言模型对数学推理的理解与执行能力。通过广泛实验证明，这种策略适用于多种数学推理任务并具有领域通用性。

    Mar, 2024

  • MATHSENSEI：数学推理工具增强的大型语言模型

    MATHSENSEI 是一个工具增强的大型语言模型，通过添加知识检索、程序执行和符号方程求解的工具，针对数学推理问题进行评估，表现出比 gpt-3.5-turbo 以及基于 chain-of-thought 的 MATH 数据集上准确率提高了 13.5%。同时我们还观察到，TALMs 在简单数学问题上的效果不如在复杂问题上的效果显著，且随着问题复杂程度和所需知识的增加而提高。

    Feb, 2024

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • 关于 LLMs 的推理和规划经验复杂性的研究

    通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

    Apr, 2024