Jan, 2024

通过点亮重要信息更好地解释 Transformers

PDF
TL;DR提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。
transformer-based modelsinformation flowlayer-wise relevance propagation (lrp)explanation computationexplanation performance
发现论文，激发创造
  • AttnLRP：面向 Transformer 的注意力感知分层相关传播

    扩展対面层级相关传递方法以处理注意力层可以实现对大型语言模型进行准确且高效的非黑盒推理解释。

    Feb, 2024

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • 自注意力归因：解释 Transformer 内部的信息交互

    本文提出了一种自我注意力归因方法，通过对 BERT 等模型进行广泛的研究，发现这种方法能够用于识别重要的注意力头，构建注意力树，揭示变压器内的分层交互，以及可用作敌对模式实现非定向攻击。

    Apr, 2020

  • Transformer 模型中的文本相似度解释

    通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

    May, 2024

  • XAI for Transformers: 通过保守传递实现更好的解释

    本文讨论了使用梯度信息的 Transformer 解释性方法的效果不佳，识别输入特征对预测的贡献不可靠，提出了一种更稳定的方法，该方法可以被视为对 Transformer 的 LRP 方法的适当扩展，通过 Attention Heads 和 LayerNorm 层的更稳定传播， 在广泛的 Transformer 模型和数据集上实现了最先进的解释性能。

    Feb, 2022

  • 解释 Transformer 如何利用上下文来建立预测

    本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

    May, 2023

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 解释性人工智能在自然语言处理中的评估评价

    本文在两种 NLP 任务和两种模型上，比较了五种最近的特征归属方法和两种注意力方法之间的等级相关性，并发现注意力方法与其他特征归属方法的关联度较低，建议停止使用等级相关性作为注意力解释的评估指标。

    May, 2022

  • Transformer 注意力头对抽象摘要提供透明度吗？

    通过分析 transformer 中 attention heads 的分布，我们探讨了并提出一种方法来评估 Transformer 模型特定 attention distributions 的依赖程度，从而讨论了使用注意分布作为可解释性手段的含义。在某些 attention heads 确实专门用于句法和语义不同的输入的基础上，我们提出了一种贡献方式，以提高其可解释性，这对于所有 NLP 任务是否有效等进行了讨论。

    Jul, 2019

  • 注意力不等于解释

    通过多个 NLP 任务的广泛实验，发现学习的注意力权重往往与基于梯度的特征重要性测量之间存在不相关性，表明标准的注意力模块并不能提供有意义的解释并且不应该被视为能够提供这种解释。

    Feb, 2019