Apr, 2024

MACM: 利用多主体系统解决复杂数学问题中的条件挖掘

HTML
PDF
TL;DR近期，GPT-4等大型语言模型在处理标准查询方面表现出卓越的能力，但在需要复杂的、多步骤逻辑推理的高级数学问题上，它们的性能大幅下降。为了增强其推理能力，目前的研究已经深入研究了提示工程，例如思考树和思考图等方法。然而，这些现有方法存在两个主要限制：一是在处理复杂数学问题方面的效果受到一定的限制，二是为单个问题设计不同的提示的必要性影响其通用性。为了克服这些限制，本文引入了条件挖掘的多智能体系统（MACM）提示方法，它不仅解决了复杂的数学问题，而且在各种数学上下文中展现了强大的泛化能力。在MACM的协助下，GPT-4 Turbo在MATH数据集中最具挑战性的五级数学问题的准确率从54.68%提高到76.73%。代码可在https://github.com/bin123apple/MACM获取。
发现论文，激发创造
  • 走向可行的数学推理：解决数学应用题的挑战、策略和机遇

    研究了解决自然语言描述的数学问题的非神经和神经方法，并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力，提出使用外部知识和知识渗透学习的需求和机会。

    Oct, 2021

  • 评估和改进工具增强的计算密集型数学推理

    该研究构建了一个新的中文数据集CARP，测试了四个有思考提示的LLMs，发现它们容易在解决方案的早期步骤中犯错误，因此提出了一个新的基于工具接口的方法DELI，该方法在CARP和其他六个数据集上的实验结果表明DELI大多优于竞争基线，能够进一步提高现有的CoT方法的性能。

    Jun, 2023

  • ToRA数学问题解决的工具整合推理代理

    通过无缝集成自然语言推理与外部工具的使用，我们提出了一系列名为ToRA的工具集成推理代理，旨在解决复杂的数学问题，从而融合了语言的分析能力和工具的计算效率。通过在数学数据集上训练ToRA，我们验证其在10个数学推理数据集上显著优于开源模型，取得了13%至19%的绝对改进。尤其是，在MATH竞赛级数据集上，ToRA-7B达到了44.6%，超过最好的开源模型WizardMath-70B 22%。此外，我们还对工具交互在数学推理中的益处和挑战进行了全面分析，为未来的研究提供了有价值的见解。

    Sep, 2023

  • 基于大型语言模型的MathAgent进行复杂数学推理建模

    利用代理人的方式，通过对数学推理过程进行细致的分解和建模，增强大型语言模型（LLMs）的能力，通过形式化的数学解决方案描述和基于代理人的零尝试框架PRER（Planner-Reasoner-Executor-Reflector）扩展LLMs，并实现了适应LLMs和人类的数学代理人，实验表明PRER和所提出的MathAgents的有效性及对LLMs行为的更深入的分析结果。

    Dec, 2023

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的LLM技术范围、影响LLMs解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • 思维的提升：利用大型语言模型进行试错问题解决

    通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于LLMs问题解决的自动提示框架BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

    Feb, 2024

  • CoMM: 合作多智能体、多推理路径的复杂问题解决

    通过提出协作多代理、多推理路径的提示框架（CoMM），我们旨在推动大型语言模型（LLMs）的推理能力的上限，特别是解决复杂科学问题。

    Apr, 2024

  • MathCAMPS: 从人类课程中细化合成数学问题

    我们提出了MathCAMPS方法，用于合成高质量的数学问题，并通过LLMs将其转化为单词问题，以进一步探索数学问题解决和对话中的各种技能和能力。

    Jul, 2024

  • 解决X和更多：大型语言模型能否解决带有超过两个未知数的复杂数学问题？

    大型语言模型（LLMs）在解决数学问题方面表现出了人类智能的显著优势，本研究提出了一个新颖的基准测试（BeyondX），旨在解决当前基准测试的局限性，并通过使用带有多个未知数的问题增加了复杂性，实证研究显示，即使是针对数学任务进行了专门微调的现有LLMs的性能在未知数增加时也会显著下降，观察到GPT-4的性能下降高达70％，为了解决这些挑战，我们提出了Formulate-and-Solve策略，这是一种广义提示方法，有效处理任意数量未知数的问题，研究结果不仅增强了LLMs在BeyondX基准测试上的性能，还提供了更深入的洞察LLMs在面对更复杂的数学挑战时的计算限制。

    Jul, 2024

  • ControlMath: 可控数据生成促进数学通用模型

    本研究针对现有数学推理中的数据多样性不足问题，提出了一种名为ControlMath的迭代方法，利用方程生成器和两个基于大型语言模型的代理。研究发现，该方法生成了丰富多样的数学问题数据集ControlMathQA，证明将其与领域内数据结合能够提升模型的数学推理能力，从而拓展模型在多领域的表现。

    Sep, 2024