通过 Tree of Thoughts (ToT) 框架，可以弥补语言模型在考虑多种不同推理路径时的局限性，进而提高语言模型在需要问题解决的任务中的表现。实验表明，使用 ToT 的方法大大提高了语言模型在三个需要非平凡计划或搜索的任务的解决能力：24 点游戏、创意写作和小型填字游戏。

May, 2023

本文提出了 Tree-of-Thought (ToT) 框架，它通过试错的思路来改进自回归大语言模型的问题解决能力。通过增加提示、检查、记忆和控制等模块来实现 ToT 系统。为了验证该技术的有效性，我们基于 ToT 设计了解决数独难题的求解器，实验结果表明，ToT 框架能够显著提高数独难题的成功率。

May, 2023

通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

Apr, 2024

通过模拟、激励和奖励机制，引入了一种名为不确定性思考（UoT）的算法来提高大型语言模型在主动寻求信息方面的能力。在医学诊断、故障排除和 '20 个问题 ' 游戏的实验中，UoT 相较于直接提示的方式，在成功完成任务的速度上平均提高了 57.8%，同时也提高了任务完成所需的效率（即问题数量的减少）。

Feb, 2024

大型语言模型（LLMs）能够用链式思维推理回答知识密集型复杂问题，但当模型的参数中缺少所需的知识或不是最新的时，它们往往会产生错误的推理步骤。本文提出一种新方法：概率思维树推理（ProbTree）。在开放领域的情境下，我们利用外部知识检索加强链式推理，通过解决从叶节点到根节点的问题，考虑问题分解和回答的置信度，在推理过程中消除了负面检索问题，并借助层次结构对非叶节点进行全局推理，从而弥补了局部错误。实验证明，我们的方法在三个复杂问答数据集上显著优于最先进方法，证明了概率思维树推理的有效性。

Nov, 2023

本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

Nov, 2023

本研究介绍了 Tree of Thoughts（ToT）语言模型推理框架的应用，以增强大型语言模型（LLM）在解决实际问题时的决策和问题解决能力。通过改进性能，促进多个推理轨迹的结构化探索和潜在解决方案的自我评估，ToT 框架被用于提高代码生成中复杂任务的性能。然而，研究结果显示，仅依靠 ToT 框架还不足以超越现有方法，并且需要加深思维过程和引入主体能力等方面进行改进。该研究的见解旨在为完善 ToT 的应用和更好地利用 LLMs 在实际问题解决场景中的潜力提供指导。

May, 2024

Graph of Thoughts (GoT) is a framework that advances prompting capabilities in large language models (LLMs) by modeling LLM thoughts as an arbitrary graph, enabling combination, distillation, and enhancement of thoughts, offering advantages over existing paradigms and allowing for extensibility with new thought transformations.

Aug, 2023

通过 fine-tuning LLMs，利用 tree-of-thought 方法构建的搜索树，实现了链式思考解码 (CoT) 在复杂问题求解中取得类似或更好性能的成果，避免了大量的推理负担。

Jun, 2024

通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

Feb, 2024