解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

May, 2023

解读 Transformer 的注意力动态记忆与可视化 GPT 的语义信息流

Interpreting Transformer's Attention Dynamic Memory and Visualizing the Semantic Information Flow of GPT

Shahar Katz, Yonatan Belinkov

TL;DR通过对 transformer-based 语言模型的 attention 头和 memory values 进行解释，我们可以将 GPT 的前向传递可视化为交互式流图，从而发现模型输出结果的原因和 LM 组件在模型中的作用。

Abstract

Recent advances in interpretability suggest we can project weights and hidden states of transformer-based language models (LMs) to their vocabulary, a transformation that makes them human interpretable and enable

transformer-based language models interpretability attention mechanism visualization generative pre-trained transformers

发现论文，激发创造

分析 Transformer 语言模型中的注意力结构

本文研究了基于注意力机制的 Transformer 模型在自然语言处理中的应用，通过对 GPT-2 模型的注意力结构的可视化和大规模语料库的分析，发现模型在不同层次区分不同词性并在中间层次最强烈地关注依赖关系，最深层次关注最远程的联系，并抽取了展现特定关注头目标的范例句子。

Jun, 2019

旅行之词：Transformer 的几何解释

通过引入新颖的几何视角，本文揭示了 Transformer 操作的内部机制，主要贡献在于说明层归一化将潜在特征限制在一个超球面上，从而使得注意力能够塑造单词在这个表面上的语义表示。通过对经过预训练的 124M 参数的 GPT-2 模型进行探究，我们的发现揭示了早期层中的清晰查询 - 键注意力模式，并在更深层次上进一步构建了关于注意力头部的特定主题性的先前观察。利用这些几何洞察，我们给出了 Transformer 的直观理解，将其描述为沿着超球面的词粒子的轨迹的建模过程。

Sep, 2023

转换器语言模型中的合理性处理：关注 GPT 中 Attention Heads 的作用

本文旨在探索 Transformer 语言模型如何处理语义知识，尤其是名词 - 动词关系的合理性。首先，作者证明了 GPT2 在合理性处理方面与人类相比具有更高的相似度；其次，作者深入研究了 GPT2 中合理性知识如何体现在注意力头中，以及这些头对 GPT2 的合理性处理能力的因果影响。通过多个实验，发现：i) GPT2 有多个注意力头能够检测具有合理名词 - 动词关系；ii) 这些头共同对 Transformer 处理合理性的能力有贡献，尽管贡献的程度不同；iii) 注意力头在检测合理性方面的个体表现不一定与它们对 GPT2 的合理性处理能力的贡献程度相关。

Oct, 2023

解读 Transformers 中的上下文查找：调查 Attention-MLP 交互

通过研究注意力头与特定 “下一个标记” 神经元在预测特定标记的多层感知机中的相互作用，我们可以揭示激活特定下一个标记神经元的注意机制。具体而言，我们关注在较早层次中不同提示下始终激活相同下一个标记神经元的注意力头。我们的方法结合了神经解释和探测孤立组件，以阐明注意力如何在语境依赖的专门处理中发挥作用。

Feb, 2024

Transformer 模型中的注意力的多尺度可视化

通过使用注意力机制，Transformer 模型不仅在性能上有所提升，同时还可通过可视化工具展示模型如何赋权于不同的输入元素，从而实现模型的解释和解读，本文提出了一种开源的基于多尺度可视化注意力机制的工具，并在 BERT 和 OpenAI GPT-2 上进行了演示，包括检测模型偏差、定位相关注意力头和链接神经元到模型行为等三个应用案例。

Jun, 2019

倒推镜头：将语言模型梯度投影到词汇空间

理解 Transformer-based 语言模型是深度学习社区的一个关键目标，最近的可解释性方法在前向通道的权重和隐藏状态上帮助发现信息在模型中的流动，本研究将这种方法扩展到后向通道和梯度，证明了梯度矩阵可以被看作是前向和后向通道输入的低秩线性组合，并开发了投影这些梯度到词汇项的方法，探索了如何在语言模型的神经元中存储新信息的机制。

Feb, 2024

变压器前馈层通过在词汇空间中促进概念来建立预测

通过反向工程变压器模型中的前馈神经网络层的运算过程，分析其词汇空间中的更新，控制预测结果，提高计算效率。

Mar, 2022

AttentionViz: Transformer 注意力的全局视图

本文介绍了一种新的可视化技术，旨在帮助研究人员理解转换器中的自我注意机制，并演示了基于 query-key 嵌入的交互式可视化工具 AttentionViz，以改进模型的理解和提供关于查询 - 键交互的新见解。

May, 2023

VisBERT: 针对 Transformers 模型的隐藏状态可视化

为了解决 BERT 模型在 NLP 任务中的解释和可视化问题，本文提出了一种工具 VisBERT，通过可视化 BERT 模型中的上下文令牌表示，观察该模型在每个编码器块中如何转换语义表达，并探索其推理步骤或潜在缺陷。

Nov, 2020

学习多模态表示的自适应 Transformer

研究 transformers 中的注意机制对视觉和语言任务的扩展，并发展适应性方法来提高模型的可解释性和计算效率。具体地，研究注意范围、稀疏和结构化 dropout 等方法，以帮助了解模型对输入序列的复杂性感知和对不同模态的稀疏性偏好。

May, 2020