MMOct, 2023

线性注意力或许是你所需的全部（理解 Transformer 优化的）

PDF
TL;DR通过对线性化浅层 transformer 模型的研究，我们对 transformer 训练的复杂性有了更深入的了解，并观察到线性化模型能够重现 transformer 训练动态的几个重要方面，因此，本文的结果表明简单的线性化 transformer 模型实际上能够是理解 transformer 优化的有价值的现实抽象。
transformer trainingoptimizersheuristicslinearized shallow transformer modelregression tasks
发现论文，激发创造
  • 线性变换器是多功能的上下文学习器

    线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

    Feb, 2024

  • Transformer 对于上下文中的牛顿法能模拟多好？

    利用线性注意力变换器实现逻辑回归的二阶优化算法，并仅需要对数层数量的误差即可实现 epsilon 误差。

    Mar, 2024

  • 你的 Transformer 其实是线性的

    该研究揭示了一种新颖的线性特性，仅限于 Transformer 解码器，包括 GPT、LLaMA、OPT、BLOOM 等模型。我们分析了顺序层之间的嵌入变换，揭示出几乎完美的线性关系（Procrustes 相似度得分为 0.99）。然而，由于 Transformer 层输出的一致较低的范数，残差成分被移除后，线性度下降。我们的实验证明，移除或线性逼近一些最线性的 transformer 模块对损失或模型性能没有明显影响。此外，在我们的小型模型的预训练实验中，我们引入了基于余弦相似性的正则化，旨在降低层的线性度。这种正则化改善了 Tiny Stories 和 SuperGLUE 等基准测试的性能指标，并成功降低了模型的线性度。该研究挑战了现有对 Transformer 架构的理解，表明它们的操作可能比之前认为的更加线性。

    May, 2024

  • 训练的 Transformer 学习上下文中的线性模型

    研究注意力机制的神经网络 transformer 采用渐变流进行单个线性自注意层的训练，实现在新的预测任务中使用标记示例的测试提示时具有预测误差与测试提示分布上最佳线性预测器相竞争的能力，且在多种分布转换下具有鲁棒性。

    Jun, 2023

  • 基于 Transformer 的线性模型上下文学习中的高阶优化方法研究

    Transformers 使用高阶优化方法（如迭代牛顿法）实现了上下文学习（即从示例中学习而无需参数更新），并且与梯度下降相比具有相当的收敛速度，同时在条件良好和条件差的数据上都能成功进行上下文学习。

    Oct, 2023

  • 凸化 Transformer：改进 Transformer 网络的优化和理解

    论文研究了 Transformer 网络模型训练的问题，并提出了一种新的凸分析方法来解决这个问题，进而提供了这些网络模型的理论解释以及性能优化方法。

    Nov, 2022

  • 线性变换中的魔鬼

    本文提出了一种新的线性变压器模型，称为 transNormer，以解决现有线性变压器的性能问题，通过稳定梯度和改善注意力的方式，在文本分类和语言建模任务以及 Long-Range Arena 基准测试中表现出更优异的性能，同时更加高效。

    Oct, 2022

  • 非线性变压器的高效上下文学习训练：理论学习和泛化分析

    通过理论分析，我们首次探讨了具有非线性自注意力和非线性 MLP 的 Transformer 模型的训练动态和 ICL 泛化能力，重点关注一组二分类任务，研究了各种因素对 ICL 泛化性能的影响，探讨了不同组件对 ICL 性能的贡献，并首次理论分析了模型修剪对 ICL 性能的影响，证明合适的基于大小的修剪可以在降低推理成本的同时对 ICL 产生最小影响，并通过数值实验验证了这些理论结果。

    Feb, 2024

  • 线性注意力下上下文学习的渐近理论

    Transformers 在无需显式先前训练的情况下，基于输入示例学习和执行任务的能力，也称为上下文学习（ICL），是其成功的基础。本研究提供了关于所需样本复杂性、预训练任务多样性和上下文长度对成功 ICL 的明确答案，采用线性关注在 ICL 线性回归任务的可解模型中推导出了学习曲线的锐利渐近线。通过实验证明了随着先前训练示例数量增加，学习曲线具有双峰，且模型的行为在低和高任务多样性之间出现相变：在低多样性情况下，模型趋向于记忆训练任务，而在高多样性情况下，它实现了真正的上下文学习并在预训练任务范围之外进行泛化。这些理论洞见通过线性关注和完全非线性 Transformer 架构的实验进行了经验证实。

    May, 2024

  • 线性回归的上下文学习需要多少预训练任务？

    在这篇论文中，我们研究了通过预训练线性参数化的单层线性注意力模型进行具有高斯先验的线性回归的上下文学习（ICL），在一个最简单的设置中进行 ICL 研究。我们建立了注意力模型预训练的统计任务复杂性界限，证明了有效的预训练只需要少量独立任务。此外，我们证明了预训练模型与贝叶斯最优算法高度匹配，即在固定上下文长度下，在未见任务上实现几乎贝叶斯最优风险。这些理论发现补充了先前的实验研究，并阐明了 ICL 的统计基础。

    Oct, 2023