研究表明，通过允许 transformer 在回答问题之前生成和依赖于中间令牌的序列，可以提高其推理能力，增加中间生成的数量将显著扩展 transformer 解码器的计算能力，进而使其能够识别所有正则语言，保持上下文敏感语言，并解决多项式时间可解问题。

Oct, 2023

研究表明 Chain-of-Thought 提示可以显著改善大型语言模型的性能，特别是在涉及数学或推理的复杂任务中。本文首先对这些问题的潜在机制进行了理论方面的探讨， 然后通过构建的方式证明了带有 CoT 的自回归机器人可以解决基本算术方程问题和决策制定问题，并且具有动态编程方面的潜在应用。

May, 2023

通过表达能力的角度，本文从理论上解释了串行思维链（CoT）对仅解码器的变压器的增强作用，通过对中间步骤（即 CoT）的生成模型进行指导，可以显著提高大型语言模型在算术和符号推理任务上的准确性。

Feb, 2024

利用 Chain-of-Thought 和 CoT 方法在 transformer 模型中，提出了 CoTFormer，通过隐式 CoT 机制实现了与更深层次模型相当的能力，并在实证研究中证明了其在下游效果明显优于更大的标准 transformers。

Oct, 2023

通过研究变压器在简单数据生成过程上的行为，我们探讨了词汇标记的理论视角，发现词汇标记对于变压器模型的训练是必要的，并验证了合适的词汇标记可以使变压器模型在学习 k 阶马尔可夫源的概率时达到近乎最优的结果。

Apr, 2024

在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

Jul, 2023

我们研究了基于 Transformer 的语言模型，特别关注了 Sparse Transformer 和 Linear Transformer 的推理能力，并发现它们对一类动态规划问题更加有效。

Feb, 2024

本文针对当前深度学习模型在长序列外推问题上存在的挑战，探讨了通过引入逐步解释和引入位置标记符来实现大规模语言模型的外推，强调了这两种补充方法是如何实现了显著的序列外推，并突出了当前体系结构在没有显式形式指导的情况下实现有效泛化的局限性。

Aug, 2022

本文通过动态分配计算资源到序列的特定位置，优化了模型深度中不同层级的计算分配，从而实现了对计算资源的灵活分配和预测性控制。这种方法在保持总计算预算的同时，能够以非均匀的方式在时间和模型深度维度上高效地分配计算资源，并且以相当于基准性能的情况下，大大减少了每次前向传播所需的计算量，提高了后期采样的速度。

Apr, 2024

最近大型语言模型（LLMs）因其执行复杂的推理任务的能力而引起了相当大的关注，但是大部分现有的增强这种能力的方法都过于依赖数据驱动的方法，而忽视了模型推理能力的结构方面。在我们的研究中，我们发现 LLMs 能够很好地处理个别的推理步骤，却在整个推理链上保持一致性方面遇到困难。为了解决这个问题，我们在每个推理步骤的开始引入了 “规划标记”，作为模型的指南。然后，这些标记嵌入与模型的其余参数一起进行微调。我们的方法所需的可训练参数增加微不足道（仅占总参数的 0.001%），可以通过完全微调或更加参数高效的方案来实施。我们通过将其应用于三种不同的 LLMs，并对三个数学问题数据集进行了评估，展示了我们方法的有效性，相对于原始的链式思维微调基准，取得了显著的准确性提升。

Oct, 2023