本文提出了 Tree-of-Thought (ToT) 框架，它通过试错的思路来改进自回归大语言模型的问题解决能力。通过增加提示、检查、记忆和控制等模块来实现 ToT 系统。为了验证该技术的有效性，我们基于 ToT 设计了解决数独难题的求解器，实验结果表明，ToT 框架能够显著提高数独难题的成功率。

May, 2023

我们引入了一种针对大型语言模型的推理框架 —— 不确定性思维树（TouT），通过有效利用蒙特卡洛丢弃法来量化这些中间步骤的多样化本地响应的不确定性评分，并将其与全局搜索算法结合起来，提高模型在响应生成方面的精确性。通过在两个具有挑战性的规划任务上进行严格实验，我们的实证证据突显了 TouT 在 ToT 和思维链提示方法上的优势。

Sep, 2023

Graph of Thoughts (GoT) is a framework that advances prompting capabilities in large language models (LLMs) by modeling LLM thoughts as an arbitrary graph, enabling combination, distillation, and enhancement of thoughts, offering advantages over existing paradigms and allowing for extensibility with new thought transformations.

Aug, 2023

通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

Feb, 2024

本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

Nov, 2023

本研究介绍了 Tree of Thoughts（ToT）语言模型推理框架的应用，以增强大型语言模型（LLM）在解决实际问题时的决策和问题解决能力。通过改进性能，促进多个推理轨迹的结构化探索和潜在解决方案的自我评估，ToT 框架被用于提高代码生成中复杂任务的性能。然而，研究结果显示，仅依靠 ToT 框架还不足以超越现有方法，并且需要加深思维过程和引入主体能力等方面进行改进。该研究的见解旨在为完善 ToT 的应用和更好地利用 LLMs 在实际问题解决场景中的潜力提供指导。

May, 2024

通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

Apr, 2024

利用 Graph of Thoughts (GoT) 和 prompting engineering 技术，我们的方法在解决多步骤逻辑推理问题方面超越了 GPT-4，分别获得了 89.7%、86% 和 56% 的准确率提升，并且相较于最先进的 Tree of Thought (ToT) 方法，我们的方法在准确率上平均提升了 23%、24% 和 15%。

Aug, 2023

通过 fine-tuning LLMs，利用 tree-of-thought 方法构建的搜索树，实现了链式思考解码 (CoT) 在复杂问题求解中取得类似或更好性能的成果，避免了大量的推理负担。

Jun, 2024

ThoughtSource 是一个 meta-dataset 和软件库，用于处理语言模型在复杂推理方面的局限性，旨在提高未来人工智能系统的质量，通过促进 CoT 的定性理解，实现经验评估并提供培训数据。

Jan, 2023