ART 框架使用冻结的 LLM 自动生成中间推理步骤作为程序，并能无缝集成生成和外部工具使用，使得在 BigBench 和 MMLU 基准测试中，通过自动 CoT 和 few-shot 提示，ART 实现了对未知任务的实质性改进。在选定的任务上，人们可以通过纠正特定的程序错误或整合新工具来改善 ART 的性能.

Mar, 2023

ChatCoT 是一种用于聊天式大语言模型的工具辅助思维链推理框架，大幅提高了在复杂推理任务上的表现。

May, 2023

提出一种名为 MultiTool-CoT 的新型架构，通过链式思考提示（CoT prompting）引入多种外部工具（如计算器和知识检索器）来执行推理，进一步改善大语言模型（LLMs）在各种推理任务上的表现，将其应用于 NumGLUE 的任务 2 数据集，并获得该领域的最佳表现。

May, 2023

大型语言模型需要通过链接现实世界的知识来实现与人类期望一致的准确推理。我们提出了一种新的方法，使用抽象链条进行计划，从而使语言模型能够更好地利用工具进行多步推理，并取得更高效的工具使用和更快的推理速度。

Jan, 2024

本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

Jun, 2023

Chain-of-Thought 提示可以增强大型语言模型（LLMs）的推理能力，现有的 CoT 综合方法针对简单推理任务，导致 CoT 提示的质量低且不一致。为了应对这一挑战，我们进行了 CoT 提示的实证研究并引入了 CoTGenius，一个用于自动生成优质 CoT 提示的新框架。我们进一步采用 CoTGenius 创建了一个广泛的 CoT 数据集，并在该数据集上对 Llama 2-Chat 7B 和 13B 模型进行了微调，得到了 ChainLM 模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的 ChainLM 模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对 CoTGenius 中的数据类别对模型性能的影响进行了深入分析。我们在此 https URL 上发布了我们的数据集和代码。

Mar, 2024

提出 Faithful CoT 框架以实现准确性和真实性的协同作用，通过将推理任务分解为翻译和问题求解两个阶段，使用 LM 和确定性求解器分别实现。在 10 个推理数据集上进行比较并展示 Faithful CoT 框架的优越性。

Jan, 2023

用自然语言生成理解模型将数值推理任务中的计算和推理过程分离成程序，使得计算过程集中于电脑中，从而提高了数学问题和金融问题的解决性能。

Nov, 2022

本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。

Nov, 2023

本文介绍了使用基于进步式推理策略的 CARP （Clue And Reasoning Prompting）方法来解决大规模语言模型在文本分类方面推理能力不足及上下文学习数据量不足的问题，实现了在 4 个基准测试数据集中的 SOTA 表现，对于低资源和领域自适应设置也有不错的表现。

May, 2023