May, 2024

Transformer 如何处理物理？研究简谐振子

PDF
TL;DR变压器如何模拟物理系统，特别是如何模拟简谐振子，我们通过分析中间过程的编码来研究变压器所使用的模拟方法，发现它们使用已知的数值方法，特别是矩阵指数方法，来模拟简谐振子的轨迹。
发现论文，激发创造
  • Transformer 对于上下文中的牛顿法能模拟多好？

    利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。

    Mar, 2024

  • 利用 Transformer 计算平面 N = 4 超 Yang-Mills 理论中的散射振幅

    利用深度学习方法改进理论高能物理领域中的先进计算，通过使用 Transformers 预测含有整数系数的散射幅度，该方法在两项任务上均实现了高准确率（> 98%），证明了 Transformers 成功应用于需要精确解的理论物理问题。

    May, 2024

  • Transformer 模型是否能够预测振动？

    我们提出了 Resoformer，一种基于 Transformer 的模型，用于预测扭转共振，通过计算从测量数据点提取的递归和卷积特征之间的注意力关系，Resoformer 提高了振动预测的准确性。

    Feb, 2024

  • Transformer 模型的数学视角

    该研究通过将 Transformers 解释为相互作用的粒子系统，提供了一种数学框架，揭示了长时间内聚集体的出现，并探索了相关的理论，为数学家和计算机科学家提供了新的视角。

    Dec, 2023

  • 使用 Transformers 进行线性代数

    通过例子，Transformer 可以学习执行数字计算。作者从基本矩阵操作到特征值分解和求逆，研究了线性代数的九个问题，并引入和讨论了四种编码方案以表示实数。通过使用随机矩阵训练的 Transformers 在所有问题上都能达到高的准确度，并且它们的模型对噪声具有鲁棒性，在训练分布之外也具有泛化能力。特别是，针对 Laplace 分布的特征值进行训练的模型对不同类别的矩阵具有泛化能力：Wigner 矩阵或具有正特征值的矩阵。反之则不成立。

    Dec, 2021

  • Transformer 能否学会未知系统的最优滤波？

    利用 transformer 进行最优输出估计问题的研究，提出一种称为 meta-output-predictor（MOP）的模型，该模型在动态系统中表现出类似于卡尔曼滤波的最优输出估计器的性能，并在具有非独立同分布噪声、时变动力学和未知参数的非线性动力学的复杂场景中表现出色，同时指出在控制和估计问题中使用 transformer 时需要谨慎的限制。

    Aug, 2023

  • 神经网络内部对称统一化: Transformer, Feedforward 和 Neural ODE

    通过将物理学中的规范对称性原理应用于神经网络结构，本研究发现各种机器学习模型的参数冗余可以解释为规范对称性，进而揭示了深度学习模型的复杂行为，并为分析各类机器学习结构提供了一个统一的视角。

    Feb, 2024

  • 信号传播的几何动力学预测 Transformer 的可训练性

    深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

    Mar, 2024

  • 线性注意力或许是你所需的全部（理解 Transformer 优化的）

    通过对线性化浅层 transformer 模型的研究，我们对 transformer 训练的复杂性有了更深入的了解，并观察到线性化模型能够重现 transformer 训练动态的几个重要方面，因此，本文的结果表明简单的线性化 transformer 模型实际上能够是理解 transformer 优化的有价值的现实抽象。

    Oct, 2023

  • 多粒子动力系统视角下理解和改进 Transformer

    本文提出将 Transformer 理解为数值常微分方程 (ODE) 求解器，通过这一框架给出了一种新的改进 Transformer 的方案 ——Macaron Net，经过实验证明其在监督和非监督学习任务中优于 Transformer。

    Jun, 2019