通过使用梯度归属法分析，我们找出了自注意力头在 transformer 架构中的局部行为与全局行为之间的区别。此外，我们观察到，尽管混合上下文信息导致了注意力和归属度量之间有明显的偏差，但有些特定的模式在深度学习的所有层都是存在的。
Apr, 2020
本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。
本文提出两种方法 —— 注意力展开和注意力流 —— 用于近似计算相对于输入令牌的注意力权重，以解决在 Transformer 模型中，由不同令牌产生不同的信息流动混合，使得注意力权重不可靠作为解释探针的问题。与原始注意力相比，这两种方法均具有更高的输入梯度基于消融法重要性评分相关性。
May, 2020
提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。
Jan, 2024
该论文介绍了一种结合人机交互的流程来发现重要的任务特定的注意力模式，然后注入到原始模型和较小的模型来提高模型的准确性与效率，取得了在提取式摘要和主题分割方面显著提高的结果。
Dec, 2021
我们通过构建节点和边的图表来自动揭示模型中的信息流；与现有的工作流相比，我们通过与其他的方法相反，利用属性来实现这一目标，并能够在任何预测中提取信息流路线，不仅限于特定类型的预测；此外，我们实验了 Llama 2，并表明了某些注意力头的整体重要性，比如前一个标记头和子词合并头；最后，我们展示了某些模型组件可以在领域（如编码或多语言文本）上进行专门化。
Feb, 2024
本研究基于自注意力机制进行 BERT 模型的定量及定性分析，发现模型的超参数化导致自注意力机制复用率高，不同自注意力机制对不同 NLP 任务影响不同，针对性关闭某些自注意力机制可以提升模型性能。
Aug, 2019
本研究评估了不同的稀疏模式对 Transformer 模型的性能影响，发现使用至少 78% 稀疏度的注意力机制在后期 Transformer 层中应用时，对性能影响较小，但是应用于整个模型会显著降低性能。通过算法可学习邻近连接的稀疏度，并在精度和稀疏度之间进行了细致的权衡。
Oct, 2022
本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。
Mar, 2023
本文研究了 Knowledge Neurons 框架的知识神经元以及它们在 Transformer 网络中对于事实和关系知识的归因。研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的事实知识或 “正确答案”。此外，本文的实验还表明，该模型可处理不同语言的提示，但提供了类似的信息，进一步证明了多语言预训练技术的有效性。研究还将归属方案应用于语法知识，发现语法知识比事实知识更为分散。
May, 2022