Jun, 2021

Transformer是深度无限维非Mercer二元核机器

HTML
PDF
TL;DR本文提出了一种新的理解Transformer模型的视角——将其核心操作Dot-product attention视为Banach空间对的核学习方法，从而推导出该模型具有无限特征维数。同时，本文还将标准核学习问题扩展到了二元情境，并证明了新型非Mercer核机器的表现定理，该定理表明学习函数元素具有再生核Banach空间而非希尔伯特空间的特征。最后，我们在Transformer中实验了新的核方法，结果表明标准Transformer核的无限维特征在其优秀表现中起到了一定的作用。
发现论文，激发创造
  • 深度核学习的表征定理

    本文提供一种有限样本和无限样本再生核希尔伯特空间的（线性组合的）核函数连接的表现定理，将分析函数组成的机器学习算法的数学基础。同时，我们还展示了如何将连接的机器学习问题重构为神经网络，并说明了我们的表现定理适用于各种先进的深度学习方法。

    Sep, 2017

  • Transformer分解：通过核的视角统一理解Transformer的注意力机制

    该论文通过内核视角呈现关注力的新公式，将输入流应用于内核平滑器，提出用对称内核对输入流建模的注意力机制变种，以较少的计算成本实现与最先进模型相媲美的竞争性表现，实验证明不同的内核构建策略能够应用于神经机器翻译和序列预测这两个广泛使用的任务。

    Aug, 2019

  • 嵌入空间中的Transformer分析

    该研究在理论上分析了训练好的Transformer模型参数的映射关系与对应的词向量，在嵌入空间中进行模型参数解释，从而实现在模型特定细节抽象化的前提下进行模型参数解释，进一步提出了参数对齐和分类器构建两种应用。

    Sep, 2022

  • 线性变换中的魔鬼

    本文提出了一种新的线性变压器模型，称为transNormer，以解决现有线性变压器的性能问题，通过稳定梯度和改善注意力的方式，在文本分类和语言建模任务以及Long-Range Arena基准测试中表现出更优异的性能，同时更加高效。

    Oct, 2022

  • 变压器作为支持向量机

    自注意力机制和SVM问题之间存在形式上的等价性及其对训练方向和全局优化的影响。

    Aug, 2023

  • 上下文收敛的Transformer模型

    通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。

    Oct, 2023

  • 为什么“经典”Transformer是浅层的以及如何使其深入

    通过理论和实证综合研究，证实了 Transformer 模型的深度问题是由于令牌相似性逐步增加所导致的，提出了一种简单的策略来解决这个问题，并初步实验证实了该方法在中等规模的后标准化 Transformer 模型上的有效性。

    Dec, 2023

  • 变压器学习上下文中的非线性特征：基于注意力场景的非凸平均场动力学

    通过对基于Transformer架构的大型语言模型进行研究，本文证明了在均场动力学中，无论高度非凸的参数分布的无限维损失曲面，均很温和，而Wasserstein梯度流几乎总是避免鞍点，这是对均场动力学的第一次鞍点分析，相关技术具有独立的研究价值。

    Feb, 2024

  • 多头Transformer动态的无限极限

    我们分析了特征学习阶段中Transformer模型的训练动力学的各种尺度极限，确定了能够在训练过程中实现无限宽度和深度极限、允许注意层更新的一组参数化；然后利用动力平均场理论（DMFT）中的工具，分析了各种无限极限（无限关键词/查询维度、无限头、无限深度），这些极限具有不同的统计描述，取决于所采取的无限极限和如何缩放注意层；我们提供了收敛到这些极限的数值证据，并讨论了参数化如何在质量上影响了已学习到的特征。

    May, 2024

  • 揭示引导头：可证明的训练动态与变换器中的特征学习

    本研究针对大型语言模型（LLM）中上下文学习的理论基础缺乏明确解释的问题，探讨了变换器其他构件如何促进上下文学习。通过分析一个包含相对位置嵌入、多头softmax注意力和归一化前馈层的复杂变换器模型，我们证明了在交叉熵损失下的梯度流收敛到一个包含引导头机制的极限模型，从而揭示了训练动态的贡献及其潜在影响。

    Sep, 2024