ACLMay, 2024

LLM 中的算术推理：Prolog 生成与排列

PDF
TL;DR使用大型语言模型来生成 Prolog 程序以解决数学问题，在 GSM8K 基准测试中，我们的 Prolog 算术问题解决方法在三个不同的大型语言模型中胜过了 Chain of Thought。我们提出对真值谓词进行排列组合，以通过数据增强方法来增加训练的健壮性。
large language modelschain of thoughtprologmathematical problem-solvingdata augmentation
发现论文，激发创造
  • 揭示思维链背后的谜团：理论视角

    研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

    May, 2023

  • 关于 LLMs 的推理和规划经验复杂性的研究

    通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

    Apr, 2024

  • 使用语言模型从数学问题中生成 Prolog 谓词

    最近，ChatGPT 在 NLP 领域引起了广泛关注。ChatGPT 是一种基于 Transformer 的大规模生成式语言模型，在自然语言处理的各种任务中表现出多样性。然而，大型语言模型在解决需要推理能力的数学问题时往往表现较差。先前的研究表明，借助思维链提示可以增强推理能力。现在，我们旨在探讨是否通过对生成 Prolog 代码进行微调，进而将这些代码传递给编译器可以进一步提高准确性。结果显示，Prolog 生成模型在性能上超过了基准模型，而组合生成模型并未显著提高。基于 GSM8K 的 Prolog 语料库和相应微调的基于 LLaMA7B 的 Prolog 生成模型已经发布给研究社区。

    Sep, 2023

  • LLMs 通过教学思路链找到数学推理错误

    通过引入一种独特的提示策略，名为教育思维链（PedCoT），该研究论文提出了一种有效识别推理错误的方法，并在数学问题中取得了显著优于基线模型的结果。

    May, 2024

  • 通过符号化推理保持逻辑的准确性

    提出了一种基于大型语言模型的新型符号化思维链 (SymbCoT) 框架，通过将符号表达和逻辑规则与语言模型集成，以增强其逻辑推理能力，并在 5 个标准数据集上通过深入评估展示了显著的性能提升。

    May, 2024

  • 大型语言模型的过度推理和冗余计算

    LLMs tend to generate lengthy and unnecessary calculations on the math QA dataset GSM8K-Zero, even though the questions can be answered without any calculations.

    Jan, 2024

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 忠实的串联思考推理

    提出 Faithful CoT 框架以实现准确性和真实性的协同作用，通过将推理任务分解为翻译和问题求解两个阶段，使用 LM 和确定性求解器分别实现。在 10 个推理数据集上进行比较并展示 Faithful CoT 框架的优越性。

    Jan, 2023

  • 带思维链的 LLMs 是非因果推理者

    该研究探讨了大型语言模型中思维链（CoT）在推理中的作用，通过因果分析发现模型与人类推理过程之间存在差异，并揭示了模型中影响因果结构的因素。

    Feb, 2024

  • 逐步思考的方式：链状思维推理的机械性理解

    通过对大型语言模型的内部机制进行机械性探索，我们发现大型语言模型在连续思考生成上部署多个并行路径，产生了顺序答案，并观察到模型中的功能分层差异，这是对连续思考推理进行机械性研究的首次尝试。

    Feb, 2024