Oct, 2023

思维传播：以类比方式进行复杂推理的大型语言模型

PDF
TL;DRThought Propagation (TP) leverages insights from solving analogous problems to enhance the complex reasoning ability of Large Language Models (LLMs), achieving substantial improvements in finding optimal solutions, human preference in creative writing, and task completion rate of LLM-Agent Planning.
large language modelsthought propagationreasoninganalogous problemsprompting approaches
发现论文，激发创造
  • 大型语言模型作为类比推理者

    通过模拟推理为大型语言模型自动生成相关样本或知识的新提示方法在各种推理任务中表现优于零示范的链式思考提示和人工少量示范的链式思考，包括 GSM8K 和 MATH 中的数学问题解决、Codeforces 中的代码生成和 BIG-Bench 中的其他推理任务。

    Oct, 2023

  • 思维的提升：利用大型语言模型进行试错问题解决

    通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

    Feb, 2024

  • 思维之树：利用大型语言模型进行有意识的问题解决

    通过 Tree of Thoughts (ToT) 框架，可以弥补语言模型在考虑多种不同推理路径时的局限性，进而提高语言模型在需要问题解决的任务中的表现。实验表明，使用 ToT 的方法大大提高了语言模型在三个需要非平凡计划或搜索的任务的解决能力：24 点游戏、创意写作和小型填字游戏。

    May, 2023

  • 通过思维树增强跨语言多步推理

    本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

    Nov, 2023

  • 思维算法：增强大型语言模型中的想法探索

    我们提出了《Algorithm of Thoughts》，这是一种新的通过算法推动大型语言模型的算法推理路径的策略，以在上下文学习中扩展其思路探索，并超越了早期单查询方法和最近的多查询策略。

    Aug, 2023

  • 推理的拓扑结构：揭秘思维中的链、树和图

    通过创新的提示技术，自然语言处理领域近年来取得了显著进展，其中，结合结构的提示工程被证明是一种有前景的范例，大大增强了大型语言模型在逻辑、数学推理、规划和创造性写作等任务中的能力。本研究分析了提示执行流程，提出了结构增强型大型语言模型推理方案的分类，并比较了不同设计选择在性能和成本上的差异，同时探讨了提示与知识库等大型语言模型生态系统其他部分之间的理论基础和关系，为未来的提示工程技术的发展提供了帮助。

    Jan, 2024

  • 思路规划：以启发式引导的大型语言模型问题解决方案

    在本研究中，我们使用基于规划的方法结合部分可观察马尔可夫决策过程（POMDPs）来解决多步骤的问题，并通过 POMCP 在线求解器在 24 点游戏任务上展现出了 89.4% 的优越成功率，同时也提供了比之前使用的固定树搜索更好的任意时间性能。

    Apr, 2024

  • 关于 LLMs 的推理和规划经验复杂性的研究

    通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

    Apr, 2024

  • 链式思考引导大型语言模型推理

    通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

    Jan, 2022

  • 迭代式提示预训练语言模型进行思维链构建

    本研究探索了一个迭代提示框架，用于让预训练语言模型具有多步推理能力，我们提出了一种基于上下文的迭代提示器，可以动态地合成提示，以捕捉不同推理步骤之间的变化。实验证明，该方法在多步推理方面具有很好的效果。

    Mar, 2022