May, 2024

多头 Transformer 动态的无限极限

PDF
TL;DR我们分析了特征学习阶段中 Transformer 模型的训练动力学的各种尺度极限，确定了能够在训练过程中实现无限宽度和深度极限、允许注意层更新的一组参数化；然后利用动力平均场理论（DMFT）中的工具，分析了各种无限极限（无限关键词 / 查询维度、无限头、无限深度），这些极限具有不同的统计描述，取决于所采取的无限极限和如何缩放注意层；我们提供了收敛到这些极限的数值证据，并讨论了参数化如何在质量上影响了已学习到的特征。
发现论文，激发创造
  • 有形状变形器：无限深度和宽度限制下的注意力模型

    在深度学习理论中，表示的协方差矩阵被用作检查网络可训练性的代理，因此我们对具有跳过连接的修改 Softmax-based 注意力模型的协方差矩阵进行研究，发现在初始化时极限分布可以由深度到宽度比率索引的随机微分方程 (SDE) 描述，我们改变了 Transformer 的注意机制来实现一个明确的随机极限，通过将 Softmax 输出居中于单位倍数，并通过宽度相关的温度参数来调整 Softmax logits 的比例，通过相应的 SDE 检查网络的稳定性，并展示如何通过残差连接来优雅地控制漂移和扩散的尺度，存在稳定的 SDE 表示协方差结构的良好行为，即使对于非常大的深度和宽度，也可以防止深度注意模型的秩退化问题，最后，我们通过模拟展示了 SDE 对应的有限尺寸模型的惊人描述，我们称这些架构修改为形状变形器。

    Jun, 2023

  • 变压器学习上下文中的非线性特征：基于注意力场景的非凸平均场动力学

    通过对基于 Transformer 架构的大型语言模型进行研究，本文证明了在均场动力学中，无论高度非凸的参数分布的无限维损失曲面，均很温和，而 Wasserstein 梯度流几乎总是避免鞍点，这是对均场动力学的第一次鞍点分析，相关技术具有独立的研究价值。

    Feb, 2024

  • 无限宽神经网络中的特征学习

    研究表明，标准和 NTK 参数化的神经网络不能学习特征，这对于预训练和转移学习至关重要。通过修改标准参数化，使用 Tensor Programs 技术，我们计算了神经网络的极限，并发现其表现优于 NTK 基线和有限宽网络。

    Nov, 2020

  • 残差网络中的深度超参数转移：动态和尺度限制

    使用深度学习调参中的参数化方法，研究残差网络的超参数如何在不同宽度和深度的网络中传递，并证明实验和理论结果的一致性。

    Sep, 2023

  • 深度神经网络中特征和懒惰训练的解耦

    该论文针对深度学习的 Neural Tangent Kernel 极限和 Mean-Field 极限进行了研究，发现不同的调参可以使得网络在 lazy training 和 feature training 两种状态下表现不同，并提出了一种中间状态下集合平均方法可以提高性能。

    Jun, 2019

  • 多头注意力的优化和泛化

    使用多头自注意力机制，经过一定的初始条件和训练，可以优化和推广 Transformer 模型的核心机制，获得收敛和泛化保证。

    Oct, 2023

  • 多层神经网络学习动力学的平均场极限

    本文发现随着神经元数量的增加，经过适当的缩放和随机梯度下降动力学，多层神经网络的行为变得独立于神经元数量，发展了一个形式体系来捕捉这种多神经元限制行为，相关实验证实了这种独立性的存在。

    Feb, 2019

  • 自注意力神经网络的动力学平均场理论

    使用非平衡 Hopfield 网络的路径积分方法研究了变压器网络的动力学规律，发现了与混沌分叉相关的非平衡相变等非平凡的动力学现象，并讨论了这种分析方法改善对变压器模型内部运作理解的潜力。

    Jun, 2024

  • 神经分类器无限宽度极限的一般理论探讨

    本文提出一个新的框架，将两种不同的神经网络极限理论联系起来，并证明在有限宽度的情况下，离散时间均场极限比常数核极限更有效。

    Mar, 2020

  • 均值场神经网络中有限宽度核和预测波动的动力学

    研究了有限宽度效应及特征学习在神经网络中的动力学特性，通过动力学平均场理论描述了无穷宽深度神经网络内核和预测动力学，并证明了特征学习可以降低终极 NTK 和终极网络预测的方差。

    Apr, 2023