Sep, 2023

旅行之词：Transformer 的几何解释

PDF
TL;DR通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。
transformersnatural language processinglayer normalizationlatent featuresattention
发现论文，激发创造
  • 可视化和测量 BERT 的几何形状

    本文描述了一种特别有效的模型 BERT，它能够通过从语义和句法子空间中提取一般有用的语言特征来代表语言信息，同时还探讨了注意力矩阵和单词嵌入中的句法表示，并提出了一种数学证明来解释这些表示的几何形态。

    Jun, 2019

  • Transformer 模型的数学视角

    该研究通过将 Transformers 解释为相互作用的粒子系统，提供了一种数学框架，揭示了长时间内聚集体的出现，并探索了相关的理论，为数学家和计算机科学家提供了新的视角。

    Dec, 2023

  • 解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

    通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

    May, 2023

  • 分析 Transformer 语言模型中的注意力结构

    本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

    Jun, 2019

  • 大型 Transformer 模型的隐藏表示的几何学

    研究表明，transformers 在蛋白质语言任务和图像重建任务中的表示以非常相似的方式演化，从而呈现出数据流形在隐藏层中的几何和统计特性，而数据流形的语义结构在第一阶段触发。基于这些观察结果，建议使用内在维度作为无监督代理，以确定下游学习任务更合适的层次。

    Feb, 2023

  • Transformer 如何学习主题结构：迈向机制理解

    本文研究 transformers 学习的机制和语义结构，揭示了 embedding 层和 self-attention 层如何编码语义结构，具体表现为同主题单词之间的嵌入内积和自注意力相对较高。

    Mar, 2023

  • 语言变形机中高维抽象阶段的出现

    一个关键的高维度阶段可以解释许多通用语言模型架构中的核心语言处理，由于其几何属性与功能的关系需要进一步研究。

    May, 2024

  • 探索 Transformer 潜空间几何对下游任务性能的影响

    我们提出了一个新的方法，通过研究 BERT 类型模型的潜在空间的几何特征，来探索预训练对 GLUE 基准任务表现的影响，并发现潜在空间的量化细胞密度与 GLUE 性能有着强烈的线性关系，这些结果表明可以减少预训练要求，通过模型潜在空间的几何特征来初始化模型。

    Jun, 2024

  • 科学数据的 Transformers：天文学的教育性回顾

    ChatGPT 和相关生成 AI 产品所使用的深度学习架构被称为 transformers，从自然语言处理开始，transformers 和其所利用的自注意机制引起了自然科学领域的广泛关注。本文旨在介绍 transformers 给科学家，包括自注意机制的数学原理、原始 transformer 架构的描述，以及在天文学中应用于时间序列和图像数据的部分。此外，还提供了一个常见问题解答部分，供对生成 AI 感兴趣且希望用 transformers 解决研究问题的读者参考。

    Oct, 2023

  • 变形金刚的诞生：记忆视角

    本研究使用合成机制来考察 transformers 在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。

    Jun, 2023