本文从六个方面提出了假设，指出“感应头”可能构成了大型变换器模型中大部分“上下文学习”的机制。同时，通过强因果证据和相关性证据，证明了这种感应头可能是任何大小的变压器模型中一般情况下上下文学习的来源。
Sep, 2022
本文利用深度条件生成学习在高维时间序列数据中提出了一种非参数检验马尔可夫性质及推断马尔可夫模型阶数的方法，并通过模拟和三个数据应用程序证明了该方法的有效性。
May, 2023
本研究使用合成机制来考察transformers在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。
Jun, 2023
通过马尔可夫链的角度研究变压器的序列建模能力，并在理论和实验上研究数据分布特性、变压器结构、学习分布和模型性能之间的相互作用。
Feb, 2024
大型语言模型具有模仿输入模式的能力。本文引入了一个简单的马尔可夫链序列建模任务，以研究这种上下文学习能力的形成。我们通过训练变压器模型来计算给定上下文的准确下一个标记的概率。通过实证和理论研究，本文揭示了成功学习是由变压器层之间的交互作用所造成的，并发现简单的单个标记统计解可能会延迟最终的双标记解的形成。我们还考虑了马尔可夫链的先验分布以及将上下文学习拓展到大于2的n元组。
通过研究自注意力模型与马尔科夫模型的等价关系，我们建立了一种简单而强大的框架来研究自注意力及其特性。
通过梯度下降优化算法，变压器模型通过自注意机制在第一个注意力层中编码潜在的因果图，从而学习了因果结构。
通过研究变压器在简单数据生成过程上的行为，我们探讨了词汇标记的理论视角，发现词汇标记对于变压器模型的训练是必要的，并验证了合适的词汇标记可以使变压器模型在学习k阶马尔可夫源的概率时达到近乎最优的结果。
Apr, 2024
本文研究了基于变压器的模型在使用马尔科夫输入过程研究的背景下，关于学习马尔科夫链的变压器的学习动态的问题，并通过理论和实证研究提供了初始化变压器参数的准则和其有效性的验证。
Jun, 2024
本研究解决了生成模型在树形结构上序列的层次过滤问题，推动了对数据中位置相关性的控制。通过创新的方法，证实了传统编码器变压器架构能够有效实施最佳信念传播算法，从而在根分类和掩码语言建模任务中实现显著成果，表明变压器在训练过程中逐步整合更大距离的相关性。
Aug, 2024