Feb, 2024

AttnLRP：面向 Transformer 的注意力感知分层相关传播

PDF
TL;DR扩展対面层级相关传递方法以处理注意力层可以实现对大型语言模型进行准确且高效的非黑盒推理解释。
large language modelsbiased predictionshallucinationstransformer modelsfaithful attributions
发现论文，激发创造
  • 通过点亮重要信息更好地解释 Transformers

    提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

    Jan, 2024

  • 变压器中的注意力 - 相似度关系

    我们分析了大型语言模型（LLMs）如何表示上下文之外的单词，研究它们依赖所给上下文来捕捉其语义的情况。我们的文本扰动指导了似然性，揭示了变形器模型中令牌似然性和注意力值之间的相关性。广泛的实验表明，意外的令牌会导致模型不太关注来自自身的信息以计算它们的表示，特别是在较高的层次上。这些发现对于评估 LLMs 在真实世界场景中的鲁棒性具有重要的影响。

    Mar, 2023

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • XAI for Transformers: 通过保守传递实现更好的解释

    本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和 LayerNorm 层的更稳定传播， 在广泛的 Transformer 模型和数据集上实现了最先进的解释性能。

    Feb, 2022

  • 自回归语言模型中事实关联的回忆解剖

    本文通过信息流的视角研究了基于 Transformer 的语言模型如何在推理过程中检索参数中的实际知识，并通过对模型中注意力机制的介入实现了对预测中信息流的详细分析和理解。通过此研究，我们阐述了在语言模型中实现知识局部化和编辑的方法。

    Apr, 2023

  • 当解释欺骗我们：为什么很多改进版的 BP Attribution 失败了

    该研究分析了多种 BP 方法，提供了一种理论和实证的框架来评估新的和现有的 BP 方法的可信度，表明这些方法的解释与后续层的参数无关，测量了这些方法如何忽略后续层信息，发现 DeepLIFT 是唯一不受此限制的方法。

    Dec, 2019

  • 情感分析中解释循环神经网络预测

    本文提出了将 Layer-wise Relevance Propagation 扩展到递归神经网络的方法，并应用于五分类情感预测任务中的双向 LSTM 模型，其结果 qualitatively and quantitatively 均优于之前工作中使用的基于梯度的方法。

    Jun, 2017

  • 利用 LRP 最佳实践解释神经网络决策

    本文研究探讨了解释型人工智能（XAI）中的一种常用方法 —— 层级相关性传递（LRP），发现新的应用方式能够更好地表征模型的推理，同时提高 LRP 的对象定位和类别区分性。

    Oct, 2019

  • Transformer 模型中的关键要素：并非所有的注意力都是必要的

    通过使用基于相似性的度量标准，本文研究了 Transformer 中不同模块（如 Blocks、MLP 和 Attention 层）之间的冗余性变化，发现一大部分 Attention 层可以被安全剪枝，从而降低内存和计算成本，并提出了一种同时舍弃 Attention 和 MLP 层的方法，进一步提升性能和降低比率。

    Jun, 2024

  • 解释和解读 LSTMs

    本章节探究如何使 Layer-wise Relevance Propagation (LRP) 技术适用于序列数据建模和预测所使用的 LSTM 架构，需要更新传播方案并扩展基础理论框架以提供准确的解释。

    Sep, 2019