逐步思考的方式：链状思维推理的机械性理解
该研究提出了一种将语言与视觉信息相结合的理由生成和答案推断的多模态 - CoT 框架，使得答案推断可以更好地利用基于多模态信息的生成的理由，并取得了比先前最先进的 LLM（GPT-3.5）高 16 个百分点（75.17％-> 91.68％准确度）的性能，在 ScienceQA 基准测试中甚至超过了人类的表现。
Feb, 2023
现代语言模型的性能已通过思维链推理得到改进，思维链推理扩展了语言模型的计算能力，但也引入了类别错误，为此我们在概率模型中形式化思维链推理，并通过对序列生成模型的表示能力进行研究，证明它们可以表示与概率图灵机相同的字符串分布。
Jun, 2024
在大型语言模型中，通过分析模型预测的变化，研究发现 Chain-of-Thought 推理在某些任务中对答案预测的条件具有较大影响，但随着模型规模的增大，模型对大多数任务的推理越来越不可信，因此建议在选择模型规模和任务时谨慎使用 Chain-of-Thought 推理。
Jul, 2023
通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题，采用树状推理可能比尝试形成简短的推理链更好地产生推理结果。
Apr, 2024
研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。
May, 2023
本论文提出一种基于链式推理的自动提问方法 Auto-CoT，通过采样具有多样性的问题并生成推理链来构建演示，在十项公共基准推理任务中，Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。
Oct, 2022
本研究通过一种自洽的跨语言提示机制，提出了一种跨语言多步推理方法，可以在不同语言中实现多步推理路径，从而达到解决复杂推理任务的目的，并在实验评估中表现出比现有提示方法更优的性能。
Nov, 2023
本文通过在可控且可解释的环境中演示，填补了对 CoT 推理内在机制和出现条件的理解有限之处，观察到一种专门用于迭代推理的特殊注意力机制 ——“迭代头”，并追踪到注意力层次上这些迭代头的出现和精确运作，并测量其所产生的 CoT 技能在任务间的可传递性。
Jun, 2024
根据 Blocksworld 的案例研究，通过链式思维问题可以提高大型语言模型的性能，但需要高度问题特定的提示，并且存在性能改善和生成正确推理示例所需人力之间的明显权衡。
May, 2024