Sep, 2023

数学问题解决中的思维链设计

PDF
TL;DR针对数学问题求解中的推理，我们对 Chain-of-Thought (CoT) 设计方法进行了全面研究，将常规自然语言 CoT 与各种程序 CoT（包括自说明程序、评论说明程序和非说明程序）进行了比较；此外，我们还研究了编程语言对程序 CoT 的影响，比较了 Python 和 Wolfram Language。通过在 GSM8K、MATHQA 和 SVAMP 上进行的大量实验，我们发现程序 CoT 在数学问题求解中通常具有更好的效果，其中自说明程序以 30B 个参数组合表现最佳，明显超过了 GPT-3.5-turbo。实验结果显示，自说明程序提供了更大的多样性，因此通常可以实现更高的性能。我们还发现，相比于 Wolfram，Python 是程序 CoT 的更好选择的编程语言。实验结果为今后在考虑编程语言和编码风格方面的 CoT 设计提供了有价值的指导。我们的数据集和代码已公开提供。
发现论文，激发创造
  • 思维启发计划：将计算与推理相分离用于数学推理任务

    用自然语言生成理解模型将数值推理任务中的计算和推理过程分离成程序，使得计算过程集中于电脑中，从而提高了数学问题和金融问题的解决性能。

    Nov, 2022

  • CodeCoT 及其进展：学习像开发者一样编程和测试

    采用自我审查和连续推导的方法，我们提出了一种名为 Code Chain-of-Thought（CodeCoT）的新策略，通过辅助 LLM 模型生成代码和改进输出，从而显著提高了代码生成的准确性。

    Aug, 2023

  • 揭示思维链背后的谜团：理论视角

    研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

    May, 2023

  • LLM 中的算术推理：Prolog 生成与排列

    使用大型语言模型来生成 Prolog 程序以解决数学问题，在 GSM8K 基准测试中，我们的 Prolog 算术问题解决方法在三个不同的大型语言模型中胜过了 Chain of Thought。我们提出对真值谓词进行排列组合，以通过数据增强方法来增加训练的健壮性。

    May, 2024

  • 通过符号化推理保持逻辑的准确性

    提出了一种基于大型语言模型的新型符号化思维链 (SymbCoT) 框架，通过将符号表达和逻辑规则与语言模型集成，以增强其逻辑推理能力，并在 5 个标准数据集上通过深入评估展示了显著的性能提升。

    May, 2024

  • 基于大语言模型的逐步自洽数学推理

    使用大型语言模型解决复杂的数学推理任务存在挑战，本文提出了一种名为 SSC-CoT 的算法，通过策略选择中间步骤并查询相关领域知识图谱，有效解决了多步推理中的关键问题。作者在 TriMaster100 数据集以及 MATH level 5 数据集上验证了 SSC-CoT 的有效性，取得了显著的性能提升。

    Feb, 2024

  • 思维的连锁：计划中 CoT 的分析

    根据 Blocksworld 的案例研究，通过链式思维问题可以提高大型语言模型的性能，但需要高度问题特定的提示，并且存在性能改善和生成正确推理示例所需人力之间的明显权衡。

    May, 2024

  • 大型语言模型中简明的思维链对问题解决的益处

    通过比较标准 CoT 和 CCoT 提示，我们介绍了简洁的思路链 (CCot) 提示，并评估了它对回答长度和正确答案准确性的影响。我们使用 GPT-3.5 和 GPT-4 在多项选择问答 (MCQA) 基准上进行了评估。CCoT 使得 GPT-3.5 和 GPT-4 的回答平均长度减少了 48.70%，对问题解决性能影响微乎其微。然而，在数学问题上，使用 CCoT 的 GPT-3.5 表现出了 27.69% 的性能惩罚。总体而言，CCoT 将每个标记的成本平均降低了 22.67%。这些结果对于使用 LLM 解决带有 CoT 提示工程技术的现实世界问题的 AI 系统工程师具有实际意义。此外，这些结果为研究 LLM 中逐步推理的新兴行为的 AI 研究人员提供了更普遍的见解。

    Jan, 2024

  • 代码链：利用语言模型加强的代码仿真器进行推理

    我们提出了 Chain of Code (CoT) 这一简单但非常有效的扩展方法，通过鼓励语言模型将语言子任务格式化为编程中的伪代码，以期改进语言模型驱动的推理，并通过 “思考代码” 的方式扩大语言模型能够正确回答的推理问题范围。

    Dec, 2023

  • 忠实的串联思考推理

    提出 Faithful CoT 框架以实现准确性和真实性的协同作用，通过将推理任务分解为翻译和问题求解两个阶段，使用 LM 和确定性求解器分别实现。在 10 个推理数据集上进行比较并展示 Faithful CoT 框架的优越性。

    Jan, 2023