本论文提出一种基于链式推理的自动提问方法Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT不断匹配或超越需要手动设计演示的CoT范例的性能。

Oct, 2022

本论文研究了Chain-of-Thought提示对大型语言模型的多步推理能力的影响，发现即使使用无效的推理步骤，其提示也能达到80-90%的性能，并探究了其他理性方面的影响。

Dec, 2022

通过对Chain-of-Thought（CoT）提示方式的研究，我们发现CoT的正确操作和数值是GPT-3在各种任务中获得准确答案的关键，而错误操作会对性能产生负面影响，这项研究加深了我们对CoT提示方式的理解，也提出了有关大语言模型在上下文中学习推理能力的新问题。

Sep, 2023

我们对Chain-of-Thought (CoT)的关键因素进行了系统和全面的分析，介绍了如何在不同应用中更好地应用CoT提示，并提出了一些建议和未来的研究方向。

Oct, 2023

使用混合任务场景中的元推理链 (Meta-CoT) 提示方法，构建来自相应数据池的多样化演示，可同时在十个公共基准推理任务上表现出卓越的性能和优越的泛化能力。

Oct, 2023

通过使用R3提示方法来处理嘈杂语境下的CoT推理，能够提高LLM在推理任务中的准确性。与现有的CoT提示方法相比，R3提示方法在噪声环境下显著优越，通过与GPT-3.5-turbo的实验观察，平均推理准确性提高了3.7％。该方法在解决噪声环境下LLM的推理任务时表现出了强大的鲁棒性和普适性。

Oct, 2023

Chain-of-Thought提示可以增强大型语言模型（LLMs）的推理能力，现有的CoT综合方法针对简单推理任务，导致CoT提示的质量低且不一致。为了应对这一挑战，我们进行了CoT提示的实证研究并引入了CoTGenius，一个用于自动生成优质CoT提示的新框架。我们进一步采用CoTGenius创建了一个广泛的CoT数据集，并在该数据集上对Llama 2-Chat 7B和13B模型进行了微调，得到了ChainLM模型。为了解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者讨论每个推理步骤，得出正确答案。大量实验证明，与现有模型相比，我们的ChainLM模型在解决一系列复杂推理问题方面表现出更高的熟练度。此外，我们对CoTGenius中的数据类别对模型性能的影响进行了深入分析。我们在此https URL上发布了我们的数据集和代码。

Mar, 2024

链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

Apr, 2024

通过针对解码位移密码的符号推理任务，我们详细研究了影响CoT推理的三个因素：任务输出的概率、预训练中隐式学习的成果和推理中的中间操作数量。我们发现这些因素可以极大地影响任务的准确性，并证明了模型明确产生中间步骤作为输出并将其作为条件可能性来提高正确答案的概率的重要性。总体而言，我们得出结论，CoT提示性能既反映了记忆化，也反映了概率推理的真实版本。

Jul, 2024

本文从统计估计的角度分析链式思维（CoT）提示及其变体，针对其样本复杂性进行了全面描述。研究表明，在大规模预训练数据集的情况下，CoT 提示形成的估计量等同于贝叶斯估计量，有效解决多步推理问题，并通过实验验证了理论结果。

Aug, 2024