本文提出了 Tree-of-Thought (ToT) 框架，它通过试错的思路来改进自回归大语言模型的问题解决能力。通过增加提示、检查、记忆和控制等模块来实现 ToT 系统。为了验证该技术的有效性，我们基于 ToT 设计了解决数独难题的求解器，实验结果表明，ToT 框架能够显著提高数独难题的成功率。

May, 2023

通过 Tree of Thoughts (ToT) 框架，可以弥补语言模型在考虑多种不同推理路径时的局限性，进而提高语言模型在需要问题解决的任务中的表现。实验表明，使用 ToT 的方法大大提高了语言模型在三个需要非平凡计划或搜索的任务的解决能力：24 点游戏、创意写作和小型填字游戏。

May, 2023

我们引入了一种针对大型语言模型的推理框架 —— 不确定性思维树（TouT），通过有效利用蒙特卡洛丢弃法来量化这些中间步骤的多样化本地响应的不确定性评分，并将其与全局搜索算法结合起来，提高模型在响应生成方面的精确性。通过在两个具有挑战性的规划任务上进行严格实验，我们的实证证据突显了 TouT 在 ToT 和思维链提示方法上的优势。

Sep, 2023

Graph of Thoughts (GoT) is a framework that advances prompting capabilities in large language models (LLMs) by modeling LLM thoughts as an arbitrary graph, enabling combination, distillation, and enhancement of thoughts, offering advantages over existing paradigms and allowing for extensibility with new thought transformations.

Aug, 2023

通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

Apr, 2024

通过温度树（T2）提示和粒子群算法优化，提高大型语言模型（LLMs）的推理能力，并动态调整搜索参数以提高决策精度。实验证实，T2oT 方法在单一解精度、多解生成和文本生成质量方面均得到了改进，而固定搜索深度配合 T2oT 的自适应能力提供了一种更可靠、更多样的问题解决策略。该论文突出了优化基础语言模型算法交互的潜力，并以 24 点游戏和创作写作任务为例进行了说明。

May, 2024

通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

Feb, 2024

利用 Graph of Thoughts (GoT) 和 prompting engineering 技术，我们的方法在解决多步骤逻辑推理问题方面超越了 GPT-4，分别获得了 89.7%、86% 和 56% 的准确率提升，并且相较于最先进的 Tree of Thought (ToT) 方法，我们的方法在准确率上平均提升了 23%、24% 和 15%。

Aug, 2023

本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

Nov, 2023

通过 fine-tuning LLMs，利用 tree-of-thought 方法构建的搜索树，实现了链式思考解码 (CoT) 在复杂问题求解中取得类似或更好性能的成果，避免了大量的推理负担。

Jun, 2024