扫描与截屏：理解单层 Transformer 的训练动态和令牌组成

May, 2023

扫描与截屏：理解单层 Transformer 的训练动态和令牌组成

Scan and Snap: Understanding Training Dynamics and Token Composition in 1-layer Transformer

Yuandong Tian, Yiping Wang, Beidi Chen, Simon Du

TL;DR本文对一层 Transformer 进行了标记和区分性扫描，流程逐渐集中于某些关键词，然后通过控制两层之间的学习速率，达到了几乎固定的标记组合，验证了该算法的动态性。

Abstract

transformer architecture has shown impressive performance in multiple research domains and has become the backbone of many neural network models. However, there is limited understanding on how it works. In particular, with a simple predictive loss, how the representation emerges from t

transformer architecture self-attention training dynamics inductive bias next token prediction

发现论文，激发创造

自注意力机制下的下一个标记预测机制

自我注意力机制通过梯度下降训练能够学习自动生成下一个标记符号的自动机，其中学习步骤分为硬检索和软组合，梯度下降隐式地发现强连接组件并选择高优先级组件，以加工序列数据。

Mar, 2024

从自注意力到马尔可夫模型：揭示生成变换器的动力学

通过研究自注意力模型与马尔科夫模型的等价关系，我们建立了一种简单而强大的框架来研究自注意力及其特性。

Feb, 2024

上下文收敛的 Transformer 模型

通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。

Oct, 2023

自注意力神经网络的动力学平均场理论

使用非平衡 Hopfield 网络的路径积分方法研究了变压器网络的动力学规律，发现了与混沌分叉相关的非平衡相变等非平凡的动力学现象，并讨论了这种分析方法改善对变压器模型内部运作理解的潜力。

Jun, 2024

为什么 “经典” Transformer 是浅层的以及如何使其深入

通过理论和实证综合研究，证实了 Transformer 模型的深度问题是由于令牌相似性逐步增加所导致的，提出了一种简单的策略来解决这个问题，并初步实验证实了该方法在中等规模的后标准化 Transformer 模型上的有效性。

Dec, 2023

训练 Transformer 时打破对称性

通过研究我们发现，Transformer 架构在没有位置编码和因果注意机制之一的情况下，对于输入令牌 $n+1$ 的预测对于输入令牌 $1, 2, ..., n-1$ 的排列是不变的，而通常情况下，两种机制都被采用并破坏了对输入令牌的对称性。最近已经证明可以在没有位置编码的情况下训练 Transformer，这必须依靠因果注意机制来实现。本文详细阐述了因果连接机制必须负责 Transformer 能够模拟有序输入序列的论点，并提供了这一现象的证据。

Feb, 2024

自注意力动态中群集的出现

本文将 Transformer 视为相互作用的粒子系统，描述了当权重不随时间变化时，学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。这些结果的组合在数学上证实了 Vaswani 等人的经验观察，即在 Transformers 处理一系列标记时会出现 “leader”。

May, 2023

变压器作为支持向量机

自注意力机制和 SVM 问题之间存在形式上的等价性及其对训练方向和全局优化的影响。

Aug, 2023

信息路径假说：变形金刚是动态自组织

提出一种名为 SSA 的训练策略，该策略可以减少自注意力的内存和计算成本，同时提高泛化能力。该策略基于信息通路的假设，该信息通路可以独立训练，并能形成子模型，优于密集型自注意力模型在不同的 NLP，计算机视觉和图形学任务中表现优异。

Jun, 2023

Transformer 语言模型的动态评估

这篇研究使用 Transformers 和动态评估两种方法来提高语言建模，在多个数据集上的实验表明，使用动态评估提高了模型预测准确率。

Apr, 2019