通过 chain of thought prompting 方法，在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能，甚至超过 fine-tuned GPT-3。

Jan, 2022

本文研究了基于 chain of thought (CoT) prompting 的 few-shot 学习机制，使用反事实提示进行实验，并通过多个模型证实了CoT的成功不是由pattern的存在而来，而是其中一个目的是在输出中找到正确的单词以形成一个正确的答案。文本有助于从问题中提取通识知识和含义，模式则强化任务理解和直接文本生成。

Sep, 2022

本文提出了一种基于连锁式思维提示调整的视觉语言建模方法，经过广泛的实验验证，我们的方法在图像分类任务中的泛化能力更强，在单个数据集之外具有更强的可转移性和更强的领域泛化性能，而且在需要更多推理能力的图像文本检索和视觉问答方面表现更好。

Apr, 2023

通过使用自动探索的 CoT prompt 对多个 LLMs 进行无监督语言生成，我们发现将该 prompt 应用于最新的 GPT-4 模型是最优的。

May, 2023

本文研究了大型语言模型（LLMs）的能力，特别关注于推进链式思维提示的理论理解。我们探究了如何有效诱导LLMs生成连贯的思维链条。为实现此目标，我们引入了一个适用于自然语言生成的两级分层图模型。在这一框架下，我们建立了一个具有吸引力的几何收敛率，用于衡量LLMs生成的思维链条与真实语言起源的思维链条之间的相似度。我们的发现为LLMs能够产生正确的思维序列提供了理论上的证明（潜在地）解释了在需要推理技能的任务中性能提升的原因。

Oct, 2023

我们提出了对比思维链来增强语言模型推理，通过提供有效和无效的推理示范，引导模型逐步推理并减少推理错误。在推理基准测试中，对比思维链能够作为思维链提示的一种普遍增强。

Nov, 2023

链式思维提示可以引导语言模型进行复杂的多步推理。我们提出了一种考虑演示模式多样性的提示方法，通过在中间步骤中结合步长和推理过程等模式，有效地缓解由演示引起的偏差问题并实现对不同场景的更好泛化。我们在两个开源 LLM 模型上进行了九个推理基准任务的实验，结果表明我们的方法大大提高了推理性能，并且对错误表现出鲁棒性。代码将公开提供。

Apr, 2024

本研究针对大型语言模型（LLM）在主观任务中链式思维提示失效的问题进行探讨。通过分析发现，链式思维提示（CoT）在复杂的主观领域，如情感和道德，表现出与上下文学习（ICL）相似的后验崩溃问题，即虽然启用了推理，但仍未能有效学习任务。该研究的主要发现表明，提升推理并未改善大型语言模型在复杂任务中的性能，反而显示出相似的固化现象。

Sep, 2024

本研究探讨了大型语言模型在主观任务中使用链式思维提示的效果，发现这种提示方式并未显著改善模型任务完成能力，反而暴露了其依赖于固定的任务先验而非真正的学习。研究表明，尽管加入推理过程，链式思维提示仍然面临与上下文学习相同的后验崩溃问题，这一发现对于理解语言模型的局限性至关重要。

Sep, 2024

本研究解决了在语言模型中引导积极行为的难题，通过引入“引导向量”技术来推动模型进行链式思维推理，而无需自然语言提示。我们在Llama3 8b和Mistral 7b v0.2上验证了这一方法，结果显示与传统链式思维提示相比，该方法在多项推理基准测试中表现出色，且计算需求更低。

Sep, 2024