大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在Chain-of-Thought（CoT）数据上训练，也能有效地近似于图灵机计算的任何函数。我们引入了一个新的复杂度度量方法——长度复杂度，它衡量了实现某个目标函数所需的CoT序列中的中间标记数，并分析了长度复杂度与其他复杂度概念之间的相互关系。最后，我们通过实验证明，简单的下一个标记预测器，如线性网络和浅层多层感知器（MLP），在文本生成和算术任务中显示出非平凡的性能。我们的结果表明，语言模型的强大能力很大程度上归功于自回归的下一个标记训练方案，而不一定取决于特定的架构选择。

Sep, 2023

大型语言模型中存在的逆转诅咒问题，训练目标的限制以及对整个上下文的了解程度对其影响，因此提出了一种新的训练方法BICO来缓解这一问题。

Nov, 2023

使用无意义的填充符号可以替代思维链，解决无法通过直接回答进行的两个难算法任务，但需要具体、密集的监督；同时，中间符号作为填充符号引发了对大型语言模型进行难以审查、隐藏计算的担忧。

Apr, 2024

本研究解决了现有文献对变压器在下一个标记预测（NTP）任务中表现理论理解的不足，提出了一种细致的非渐近分析方法。研究设计了一个两阶段的训练算法，证明了变压器具有显著的预测能力，尤其是在数据集迁移时，揭示了变压器卓越的泛化性能。

Sep, 2024

本研究解决了现有对Transformer模型在下一个token预测（NTP）任务性能理论理解不足的问题，尤其是在非渐近性能方面。通过数学框架分析训练数据集结构特性，并设计了一个两阶段训练算法，结果表明Transformer在数据集变化下仍展现出非平凡的预测能力，从而突显了其优秀的泛化性能。

Sep, 2024

本研究针对优化推理的语言模型o1，探讨其是否仍然存在自回归的不足。通过分析，我们发现o1在处理常见任务的稀有变体时表现显著提升，但仍然显示出对例子和任务概率的敏感性。这表明，尽管优化可以缓解语言模型的概率敏感性，但可能无法完全克服这一问题。

Oct, 2024

本研究针对广泛使用的仅解码器Transformer在下一个token预测中的设计选择提出质疑，认为其主要是出于效率而非必要性。通过引入仅编码器的下一个token预测（ENTP）模型，发现其在表达能力和复杂性上具有潜在优势，并且在实际任务中表现优于传统解码器模型。

Oct, 2024

本研究探讨了OpenAI的新系统o1在推理优化方面的问题，发现尽管其在许多任务上表现优于以往大型语言模型，但仍然存在自回归的特征。研究表明，o1与之前的模型一样，对例子的概率敏感，表明优化并未完全消除这一局限性。

Oct, 2024

本研究解决了变压器在自回归学习中下一个令牌预测能力机制不明的问题。我们提出了一种新的因果核优化方法，能够明确地通过之前及当前的观测预测下一个令牌，并展示了其实验结果验证了理论发现，表明该方法对一般映射的适用性。

Oct, 2024

本研究解决了在下一个标记预测（NTP）中信息守恒法则的相关问题，提出了信息容量的第一定律（IC-1），阐明了自回归模型中智能涌现的本质是信息转移过程。研究还引入了朗道尔原理，制定了信息容量的第二定律（IC-2），揭示了自回归模型训练与能量消耗之间的关系，并提供了具有实际意义的推论，验证了与现有理论的兼容性与互补性。

Nov, 2024