思维的提升：利用大型语言模型进行试错问题解决

ICLRFeb, 2024

思维的提升：利用大型语言模型进行试错问题解决

Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models

Sijia Chen, Baochun Li, Di Niu

TL;DR通过迭代地探索和自我评估许多思维树以获得试错推理经验集，我们提出了一种用于 LLMs 问题解决的自动提示框架 BoT，它将作为一种新形式的提示来解决复杂的问题。实验证明，BoT 在解决复杂数学问题时，与其他先进的提示方法相比，可以达到更高或相当的问题解决率。

Abstract

The reasoning performance of large language models (LLMs) on a wide range of problems critically relies on chain-of-thought prompting, which involves providing a few chain of thought demonstrations as exemplars i

large language models chain-of-thought prompting reasoning step selection boosting of thoughts automated prompting framework

发现论文，激发创造

在大型语言模型中通过迭代引导提高思维链路提示

通过使用迭代的引导选择，我们介绍了迭代链式思考（Iter-CoT）方法，该方法可以使大型语言模型（LLM）自主纠正错误，同时选择具有适度难度的挑战性问题作为样本，从而增强 LLM 对于不同难度的推理任务的泛化能力。实验结果表明 Iter-CoT 方法在 11 个数据集上展现出卓越的性能表现。

Apr, 2023

思维之树：利用大型语言模型进行有意识的问题解决

通过 Tree of Thoughts (ToT) 框架，可以弥补语言模型在考虑多种不同推理路径时的局限性，进而提高语言模型在需要问题解决的任务中的表现。实验表明，使用 ToT 的方法大大提高了语言模型在三个需要非平凡计划或搜索的任务的解决能力：24 点游戏、创意写作和小型填字游戏。

May, 2023

通过思维树增强跨语言多步推理

本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

Nov, 2023

思维算法：增强大型语言模型中的想法探索

我们提出了《Algorithm of Thoughts》，这是一种新的通过算法推动大型语言模型的算法推理路径的策略，以在上下文学习中扩展其思路探索，并超越了早期单查询方法和最近的多查询策略。

Aug, 2023

大型语言模型的自动思维联想提示

本论文提出一种基于链式推理的自动提问方法 Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。

Oct, 2022

大型语言模型的思路链主动提示

本文提出了一种新的方法 Active-Prompt，通过任务特定的示例提示来适应 LLMs 的不同任务，通过从特定的查询池中选择最不确定的问题进行注释来确定哪些问题是最重要和有帮助的。经验结果表明了我们提出的方法的优越性，取得了八项复杂推理任务的最新成果。

Feb, 2023

ChainLM: 通过改进思维连贯性促进大型语言模型的能力

Chain-of-Thought 提示可以增强大型语言模型（LLMs）的推理能力，现有的 CoT 综合方法针对简单推理任务，导致 CoT 提示的质量低且不一致。为了应对这一挑战，我们进行了 CoT 提示的实证研究并引入了 CoTGenius，一个用于自动生成优质 CoT 提示的新框架。我们进一步采用 CoTGenius 创建了一个广泛的 CoT 数据集，并在该数据集上对 Llama 2-Chat 7B 和 13B 模型进行了微调，得到了 ChainLM 模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的 ChainLM 模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对 CoTGenius 中的数据类别对模型性能的影响进行了深入分析。我们在此 https URL 上发布了我们的数据集和代码。

Mar, 2024

链式思考引导大型语言模型推理

通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

Jan, 2022

大型语言模型中演化算法引导的零射链条思维推理

大语言模型通过应用无需预先训练的思维链式促进方法展示了卓越的表现，并展示了出色的推理能力。本文介绍了一种新的零样本促进方法，利用进化算法为大语言模型动态生成多样的促进方式，通过选择适合的促进方式提高模型的理解能力。详细实验结果表明，相较于当前的零样本推理方法，在 GPT-3.5-turbo 和 GPT-4 上，我们的方法表现出更优越的性能。此外，深入的分析实验突显了本方法在各种推理任务中的适应性和有效性。

Feb, 2024

通过新框架提升大型语言模型中的逻辑推理能力：思维图

利用 Graph of Thoughts (GoT) 和 prompting engineering 技术，我们的方法在解决多步骤逻辑推理问题方面超越了 GPT-4，分别获得了 89.7%、86% 和 56% 的准确率提升，并且相较于最先进的 Tree of Thought (ToT) 方法，我们的方法在准确率上平均提升了 23%、24% 和 15%。

Aug, 2023