本论文研究了Chain-of-Thought提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到80-90%的性能，并探究了其他理性方面的影响。

Dec, 2022

研究表明Chain-of-Thought提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有CoT的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

May, 2023

在大型语言模型中，通过分析模型预测的变化，研究发现Chain-of-Thought推理在某些任务中对答案预测的条件具有较大影响，但随着模型规模的增大，模型对大多数任务的推理越来越不可信，因此建议在选择模型规模和任务时谨慎使用Chain-of-Thought推理。

Jul, 2023

针对数学问题求解中的推理，我们对Chain-of-Thought (CoT)设计方法进行了全面研究，将常规自然语言CoT与各种程序CoT（包括自说明程序、评论说明程序和非说明程序）进行了比较；此外，我们还研究了编程语言对程序CoT的影响，比较了Python和Wolfram Language。通过在GSM8K、MATHQA和SVAMP上进行的大量实验，我们发现程序CoT在数学问题求解中通常具有更好的效果，其中自说明程序以30B个参数组合表现最佳，明显超过了GPT-3.5-turbo。实验结果显示，自说明程序提供了更大的多样性，因此通常可以实现更高的性能。我们还发现，相比于Wolfram，Python是程序CoT的更好选择的编程语言。实验结果为今后在考虑编程语言和编码风格方面的CoT设计提供了有价值的指导。我们的数据集和代码已公开提供。

Sep, 2023

通过对Chain-of-Thought（CoT）提示方式的研究，我们发现CoT的正确操作和数值是GPT-3在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对CoT提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

Sep, 2023

我们对Chain-of-Thought (CoT)的关键因素进行了系统和全面的分析，介绍了如何在不同应用中更好地应用CoT提示，并提出了一些建议和未来的研究方向。

Oct, 2023

Chain-of-Thought提示可以增强大型语言模型（LLMs）的推理能力，现有的CoT综合方法针对简单推理任务，导致CoT提示的质量低且不一致。为了应对这一挑战，我们进行了CoT提示的实证研究并引入了CoTGenius，一个用于自动生成优质CoT提示的新框架。我们进一步采用CoTGenius创建了一个广泛的CoT数据集，并在该数据集上对Llama 2-Chat 7B和13B模型进行了微调，得到了ChainLM模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的ChainLM模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对CoTGenius中的数据类别对模型性能的影响进行了深入分析。我们在此https URL上发布了我们的数据集和代码。

Mar, 2024

通过分析在不同设置下的CoT方法，从Hopfieldian视角提出了Read-and-Control方法，通过广泛实验验证了该框架对于理解CoT、识别推理错误和控制正确推理路径的能力。

Jun, 2024

通过针对解码位移密码的符号推理任务，我们详细研究了影响CoT推理的三个因素：任务输出的概率、预训练中隐式学习的成果和推理中的中间操作数量。我们发现这些因素可以极大地影响任务的准确性，并证明了模型明确产生中间步骤作为输出并将其作为条件可能性来提高正确答案的概率的重要性。总体而言，我们得出结论，CoT提示性能既反映了记忆化，也反映了概率推理的真实版本。

Jul, 2024

本文从统计估计的角度分析链式思维（CoT）提示及其变体，针对其样本复杂性进行了全面描述。研究表明，在大规模预训练数据集的情况下，CoT 提示形成的估计量等同于贝叶斯估计量，有效解决多步推理问题，并通过实验验证了理论结果。

Aug, 2024