Apr, 2024

基于 Transformer 的语言模型内部工作原理初探

PDF
TL;DR这篇论文提供了对 Transformer-based 语言模型内部工作进行解释的当前技术的简明技术介绍，重点讨论生成式只解码器架构。我们最后总结了这些模型实现的已知内部机制的综合概述，揭示了该领域中流行方法和活跃研究方向之间的联系。
language modelsinterpretation techniquestransformer-baseddecoder-only architectureinternal mechanisms
发现论文，激发创造
  • 变形金刚的诞生：记忆视角

    本研究使用合成机制来考察 transformers 在处理全局信息与上下文信息时的权衡，发现这些模型相对较快地学习了全局信息，但对于上下文信息中的二元组的识别则较慢，同时探究了权重矩阵作为联想记忆的作用以及梯度如何使其在训练时进行学习的理论机制，同时研究了数据分布属性的作用。

    Jun, 2023

  • 神经语言模型解剖

    通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

    Jan, 2024

  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 解释 Transformer 如何利用上下文来建立预测

    本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

    May, 2023

  • 旅行之词：Transformer 的几何解释

    通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

    Sep, 2023

  • 关于仅解码变压器语言模型计算能力的研究

    本文从理论上评估解码器型 Transformer 模型的计算普适性，证明单层单注意头的解码器型 Transformer 架构在合理假定下是图灵完备的，同时揭示词嵌入的稀疏性 / 可压缩性是图灵完备性持有的必要条件。

    May, 2023

  • 变形金刚因果语言建模的元学习视角

    我们通过解释 Transformer 架构内部可能发生的内部优化过程，建立了一种元学习视角，从而理解了 Transformer 架构在因果语言建模任务中的训练过程。此外，我们通过实验和对真实数据的理论分析，发现并探索了 Transformer 基于因果语言模型中学习到的标记表示的一种特殊特征。

    Oct, 2023

  • Transformer 需要眼镜！语言任务中的信息过度压缩

    研究信息在解码器单独的 Transformer 模型中的传播，发现了表示崩溃现象和对特定标记的敏感性丧失，并提供了简单的解决方案。

    Jun, 2024

  • 生成预训练变压器：启用技术、潜在应用、新兴挑战和未来方向的全面评估

    本文综述了生成式预训练转换模型，包括它的架构、工作流程、训练程序、相关技术以及对各种应用的影响，并探讨了潜在的挑战和解决方案。

    May, 2023

  • 朝着更小、更快的只解码 Transformer：架构变体及其影响

    本研究引入了三种变体（ParallelGPT、LinearlyCompressedGPT 和 ConvCompressedGPT）来修改解码器专用的 Transformer 架构，这些变体在代码生成任务中取得了可比较的性能，同时具有模型尺寸较小和训练时间更快的优势。

    Apr, 2024