Aug, 2023

探索方程作为更好的数值推理中间意义表示

PDF
TL;DR使用数学公式作为中间意思表示（IMR）方法，通过减少程序和生成常数表达式的倾向，来提高大型语言模型（LLMs）生成数学公式的准确性，取得了 2.2%、0.9% 和 1.7% 在 GSM8K、SVAMP 和代数数据集上的性能提升。
numerical reasoningnatural language processing modelsequationsgeneration accuracyimrs
发现论文，激发创造
  • 反思：通过解线性方程组反向引导语言模型进行数值推理

    本文提出了一种利用锚定数字来诱发和利用预先训练的语言模型潜在的数字推理知识的新方法，通过在复杂的数字上应用简单的锚定数字隐含的推理表达式，以显式地得到相应的答案并训练语言模型的数字推理能力。实验结果表明该方法显著提高了现有语言模型的数字推理能力。

    Oct, 2022

  • 解决和推理数学应用问题的语义对齐方程生成

    本文提出了一个神经网络模型，基于编码器 - 解码器框架，利用自然语言理解桥接语义世界和符号世界，自动解决数学应用问题，并在 Math23K 数据集上验证模型的有效性。

    Nov, 2018

  • MARIO：用代码解释器输出进行数学推理的再现性管道

    大型语言模型在自然语言理解任务中取得了显著的进展，但要实现真正的人工智能通用智能还存在差距，特别是在数学推理能力方面存在不足。本文通过丰富数据环境和引入一种新的数学数据集，该数据集具有使用 Python 代码解释器的能力，解决了这一挑战。此外，我们提出了一种旨在精调数学专用语言模型的可行、易复制的协议，在 GSM8K 和 MATH 数据集上显著提升了 7B 参数 LLM 性能。我们致力于推进 LLMs 中的数学推理领域，并且我们已经公开了模型检查点并将数据集公开可用，希望这将促进社区内的进一步研究和发展。

    Jan, 2024

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 寻求多样化的推理逻辑：控制方程式表达式生成以解决数学应用题

    本文提出了一种通过控制代码来引导模型考虑某些推理逻辑和解码与人类参考转换的相应等式表达式的可控等式生成求解器，实验结果表明我们的方法对单一未知（Math23K）和多个未知（DRAW1K，HMWP）基准测试普遍提高了性能，最大的改善高达 13.2％的准确性在具有挑战性的多未知数据集上

    Sep, 2022

  • LLM-SR: 大语言模型编程实现科学方程发现

    利用大型语言模型（LLMs）的广泛科学知识和强大的代码生成能力，我们引入了 LLM-SR，一种新颖的方法，以高效地从数据中发现科学方程。LLM-SR 将方程视为数学运算符的程序，并结合 LLMs 的科学先验和方程程序的进化搜索来提出新的方程框架，优化框架参数以估计数据拟合度较好的物理准确的方程。在三个不同的科学领域中展示了 LLM-SR 的有效性，发现的方程与领域内外的数据相比，提供了更好的拟合结果，并超过了现有的方程发现基准。

    Apr, 2024

  • We-Math: 您的大型多模型是否实现了类人数学推理？

    WE-MATH 是第一个旨在探索问题解决原则的基准测试，通过分解复合问题，并引入新的四维度评估指标，评估了 LMMs 在视觉数学推理中的固有问题，为知识获取与泛化提供支持，评估现有 LMMs 在视觉数学推理中的表现，揭示了求解步骤与问题特定表现之间的负相关，并指出 GPT-4o 的主要挑战由不足的知识转变为不足的泛化。

    Jul, 2024

  • 大型语言模型中的符号数学问题推理

    该论文研究了大型语言模型在数学问题推理方面的能力，特别关注符号推理在数值问题中的准确性，并通过自提示的方法提高了符号准确性，为模型提供了简洁可验证的推理能力。

    Aug, 2023

  • 通过将语言模型与符号求解器相结合解决数学语言问题

    通过将大型语言模型与外部符号求解器相结合，我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法，并使用符号求解器解决问题，相较于 PAL 在解决代数类问题上性能提升了 20%。

    Apr, 2023