多粒子动力系统视角下理解和改进 Transformer

Jun, 2019

多粒子动力系统视角下理解和改进 Transformer

Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View

Yiping Lu, Zhuohan Li, Di He, Zhiqing Sun, Bin Dong...

TL;DR本文提出将 Transformer 理解为数值常微分方程 (ODE) 求解器，通过这一框架给出了一种新的改进 Transformer 的方案 ——Macaron Net，经过实验证明其在监督和非监督学习任务中优于 Transformer。

Abstract

The transformer architecture is widely used in natural language processing. Despite its success, the design principle of the Transformer remains elusive. In this paper, we provide a novel perspective towards understanding the architecture: we show that the Transformer can be mathematic

transformer architecture ode solver numerical analysis macaron net supervised and unsupervised learning

发现论文，激发创造

Transformer 层的神经 ODE 解释

本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。

Dec, 2022

使用 Transformer 进行偏微分方程的多尺度时间步进

使用 Transformer 神经网络结构学习物理系统的动力学，混合了卷积自编码器学习的空间模式。模型在预测 Navier-Stokes 方程的时间演化方面取得了与 Fourier Neural Operator（FNO）和 OFormer、Galerkin Transformer 两种基于 Transformer 的神经算子相当或更好的结果。

Nov, 2023

ODE Transformer: 序列生成的普通微分方程启发模型

本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。

Mar, 2022

自注意力神经网络的动力学平均场理论

使用非平衡 Hopfield 网络的路径积分方法研究了变压器网络的动力学规律，发现了与混沌分叉相关的非平衡相变等非平凡的动力学现象，并讨论了这种分析方法改善对变压器模型内部运作理解的潜力。

Jun, 2024

信号传播的几何动力学预测 Transformer 的可训练性

深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

Mar, 2024

利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

May, 2024

旅行之词：Transformer 的几何解释

通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

Sep, 2023

Transformer 模型的数学视角

该研究通过将 Transformers 解释为相互作用的粒子系统，提供了一种数学框架，揭示了长时间内聚集体的出现，并探索了相关的理论，为数学家和计算机科学家提供了新的视角。

Dec, 2023

用 Transformer 预测常微分方程

我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

Jul, 2023

Transformer 网络的拓扑结构

通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析，发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中，而变压器必须位于其拓扑完成中，并且指出这两种网络家族实例化了不同的逻辑片段：前者是一阶的，而变压器是高阶推理器，并且将其分析与架构搜索和梯度下降相类比，将其整合到了对测控系统的框架中。

Mar, 2024