ART 框架使用冻结的 LLM 自动生成中间推理步骤作为程序，并能无缝集成生成和外部工具使用，使得在 BigBench 和 MMLU 基准测试中，通过自动 CoT 和 few-shot 提示，ART 实现了对未知任务的实质性改进。在选定的任务上，人们可以通过纠正特定的程序错误或整合新工具来改善 ART 的性能.

Mar, 2023

通过自动工具链和黑盒探测方法，为大型语言模型提供了扩展功能，使其成为多工具用户，能够主动发现和使用新工具，从而解决实际任务中的规划和工具选择的挑战。

May, 2024

通过探索不同的思维链和验证推理过程中的各个步骤，我们提出了三个模型应遵循的原则（相关性、数学准确性和逻辑一致性），并将这些原则应用于大型语言模型的推理步骤，以提高最终生成结果的准确性。通过使用困惑度作为额外的验证器来引导高质量解决方案的生成，我们在 4 种不同类型的推理任务上评估了我们的方法，涵盖了共计 9 个不同的数据集。实验证明，我们的方法始终优于基准生成，并且在 9 个数据集中的 6 个数据集中，优于最佳的 N 个采样方法。

Apr, 2024

提出 Faithful CoT 框架以实现准确性和真实性的协同作用，通过将推理任务分解为翻译和问题求解两个阶段，使用 LM 和确定性求解器分别实现。在 10 个推理数据集上进行比较并展示 Faithful CoT 框架的优越性。

Jan, 2023

该研究构建了一个新的中文数据集 CARP，测试了四个有思考提示的 LLMs，发现它们容易在解决方案的早期步骤中犯错误，因此提出了一个新的基于工具接口的方法 DELI，该方法在 CARP 和其他六个数据集上的实验结果表明 DELI 大多优于竞争基线，能够进一步提高现有的 CoT 方法的性能。

Jun, 2023

当前大型语言模型 (LLMs) 的现状需要融入外部工具。目前已有研究证明缺乏直接的代数和逻辑推理，促使研究人员开发了允许 LLMs 通过外部工具操作的框架。本文的核心目的是强调图形化方法在 LLM 与工具互动中的重要性。我们提出了一个示例框架，用于指导将外部工具与 LLMs 的数量呈指数增长的协同工作，其中工具的目标和功能以图形编码的层次结构呈现。假设文本的思维链 (CoT) 可以被想象为一个工具，基于图形的框架也可以在这一特定方向上开辟新的途径。

Aug, 2023

通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。

Apr, 2024

通过串联使用微调语言模型进行多步推理的方法，可以解决大型语言模型的单次调用限制，提高多步问题的性能和可解释性。该方法在多步逻辑推导和科学问题回答方面表现优于基线模型，并生成可由用户检查的有效推理过程。

Aug, 2022

最近在 “思维链路提示” 方面取得的进展为大型语言模型在复杂推理任务中带来了重大突破。然而，当前的研究通过对答案频率进行多个推理链路的抽样和集成来增强 LLMs 的推理性能，但这种方法在正确答案占少数的情况下会失败。为了解决这个局限性，我们提出了一种层次化推理聚合框架 AoR（聚合推理），它根据推理链路的评估选择答案，并结合动态抽样，根据任务的复杂性调整推理链路的数量。对一系列复杂推理任务的实验结果表明，AoR 优于其他突出的集成方法。进一步分析表明，与当前方法相比，AoR 不仅适应多种 LLMs，而且达到了更高的性能上限。

May, 2024

CREATOR 是一种新颖的框架，使大型语言模型创建自己的工具变得容易，该方法在数学问题求解方面的表现显著优于现有方法，并有助于知识转移和提高模型的适应性。

May, 2023