我们提出了 Transformer 神经网络结构中自注意力的因果解释。我们将自注意力解释为一种机制，用于估计给定输入符号（标记）序列的结构方程模型。结构方程模型可以被解释为输入序列特定上下文下的输入符号的因果结构。与潜在混淆变量相比，该解释仍然有效。根据此解释，我们通过计算最深层注意力中相应表示之间的偏相关来估计输入符号之间的条件独立关系。这使得能够使用现有的基于约束的算法学习输入序列上的因果结构。从这个意义上讲，现有的预训练 Transformer 可被用于零样本因果发现。我们通过为两个任务（自然语言处理的情感分类和推荐）中的 Transformer 结果提供因果解释来演示这种方法。
Oct, 2023
研究注意力机制的神经网络 transformer 采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。
Jun, 2023
该文探讨了怎样使用 Transformer 网络在算法任务中表现良好，展示了多层 transformer 网络在任务分解中的可靠性解决方案，以及所有相关任务中的共享计算的利用。
Oct, 2022
本文研究 transformers 学习的机制和语义结构，揭示了 embedding 层和 self-attention 层如何编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。
Mar, 2023
线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。
Feb, 2024
通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。
通过线性变压器在随机线性回归实例中的全局最小值，我们证明了经过训练的线性变压器的单个关注层实现了预处理的梯度下降的单个迭代，并证明了训练目标的某些临界点实现了 k 次预处理的梯度下降。
近期的研究发现具备线性循环层和前馈路径的带有乘性门控模式的循环神经网络（RNNs）能够实现线性自注意力，这是 Transformer 的主要组成部分之一。通过对一组训练过的 RNNs 进行逆向工程，我们发现在实践中梯度下降法会找到我们构建的机制。这项研究结果强调了神经网络中乘性交互的重要性，并暗示某些 RNNs 可能在内部意外地实现了注意力机制。
Sep, 2023
我们通过解释 Transformer 架构内部可能发生的内部优化过程，建立了一种元学习视角，从而理解了 Transformer 架构在因果语言建模任务中的训练过程。此外，我们通过实验和对真实数据的理论分析，发现并探索了 Transformer 基于因果语言模型中学习到的标记表示的一种特殊特征。
通过引入循环替代方案以解决 transformer 自注意机制中的两个局限，本文提出了一种能够以较低成本进行推理并有效利用长程依赖的 transformer 自注意机制替代方法，在强化学习问题中实现了性能的提升。