研究表明Chain-of-Thought提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有CoT的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

May, 2023

本文研究了RNN语言模型对概率分布的表示能力，发现简单的RNN等效于概率有限状态自动机，能够表示有限状态模型可表达的概率分布的严格子集，同时研究了用RNN表示确定性有限状态语言模型的空间复杂度。这些结果对于了解RNN语言模型的能力和限制具有重要意义。

Oct, 2023

通过研究基于递归神经网络的语言模型（LMs）的计算表达能力，本文通过扩展图灵完备性结果到概率情况，展示了有理加权RLM在无界计算时间下可以模拟任何概率图灵机。相反，在实时计算限制下，这些模型可以模拟确定性的实时有理PTM。

Oct, 2023

通过表达能力的角度，本文从理论上解释了串行思维链（CoT）对仅解码器的变压器的增强作用，通过对中间步骤（即CoT）的生成模型进行指导，可以显著提高大型语言模型在算术和符号推理任务上的准确性。

Feb, 2024

该研究论文探讨了Transformer语言模型与n-gram语言模型之间的关系，通过分析机器学习模型的概率表示能力，提供了对Transformer语言模型代表概率分布的机制的初步认识。

Apr, 2024

链状思维推理可深度理解语言模型内部推理。我们提出了一种训练方法，能够生成独立于其他上下文的足够预测未来文本的链状思维，在确保语言模型能够预测未来标记的同时，证明其使用了链状思维来理解上下文。我们通过策略梯度和PPO优化得到“马尔可夫”语言模型的“马尔可夫训练”程序，并在长上下文算术问题上展示了训练算法的有效性，验证了生成的链状思维对其他模型的意义和可用性。

Apr, 2024

通过将递归神经网络语言模型连接到概率有限状态自动机，我们重新审视了递归神经网络语言模型的表征能力，并证明具有线性边界精度的递归神经网络语言模型可以表示任意的正则语言模型。

May, 2024

本研究解决了传统Transformer架构在某些计算复杂性任务中的局限性，尤其是与递归结构相关的推理能力不足。通过探讨思维链（CoT）的有效性，本研究揭示了递归计算的近似效果，并建议优化模型设计以提高计算能力。最重要的发现是，模拟递归结构可以显著提升Transformer模型在基本任务中的表现。

Sep, 2024

本文解决了变换器模型在处理基本计算任务时受到的限制，探讨了循环结构对神经模型推理能力和可计算性的影响。通过引入思维链提示，研究表明这种近似循环的方式显著提升了模型的性能和计算能力，并提出了“循环完整性”的新概念，指出现有循环变换器模型设计的理论局限。

Sep, 2024

本研究解决了Transformer模型在计算能力上的局限性，特别是在处理复杂任务（如计数、字符串反转和乘法）时的不足。通过探讨自回归与循环结构的关系，论文提出了思维链方法作为一种近似循环计算的方式，从而显著提升模型性能和计算能力。同时，重新审视了基于循环的Transformer模型设计及其理论局限性。

Sep, 2024