KDDJul, 2022

注意力是否等同于解释？基于集合的量化评估

PDF
TL;DR本文提出在集合学习中研究注意力机制的可解释性，通过建立多种数据模态下的合成数据集，对注意力基于重要实例的解释进行系统评估，发现注意力分布通常反映了个体实例的相对重要性，但是也存在不符合预期的情况，因此本文建议使用集成方法最小化基于注意力的误导性解释的风险。
attention mechanismsinterpretabilityset machine learningimportance ground truthensembling
发现论文，激发创造
  • 注意力是否可解释？

    测试加权输入组件的注意机制对于模型预测的影响，发现虽然注意机制可以预测输入组件的相对重要性，但并非绝对准确的指标。

    Jun, 2019

  • 为什么关注机制可能无法解释？

    本文讨论了 Attention-based methods 在模型中的解释性作用，指出了 recent research 发现的 attention-as-importance interpretations 的局限性，即注意力权重本身可能具有额外的信息导致现象的发生，我们通过理论分析和实验展示了这个问题的存在，提出了两种缓解这个问题的方法，并在实验中证明这些方法能有效地提高 Attention 机制的可解释性。

    Jun, 2020

  • 跨 NLP 任务的注意力可解释性

    本文旨在通过一系列的 NLP 任务，人工评估实验等方式，全面解释神经网络模型中的注意力机制的可解释性，并证明了注意力的可解释性验证了两种观点。

    Sep, 2019

  • 解释性人工智能在自然语言处理中的评估评价

    本文在两种 NLP 任务和两种模型上，比较了五种最近的特征归属方法和两种注意力方法之间的等级相关性，并发现注意力方法与其他特征归属方法的关联度较低，建议停止使用等级相关性作为注意力解释的评估指标。

    May, 2022

  • 注意力不等于解释

    通过多个 NLP 任务的广泛实验，发现学习的注意力权重往往与基于梯度的特征重要性测量之间存在不相关性，表明标准的注意力模块并不能提供有意义的解释并且不应该被视为能够提供这种解释。

    Feb, 2019

  • 从信息论的角度重新思考注意力权重作为解释

    在信息理论的角度下，论文研究了不同类型的注意力机制在保留信息和解释模型输入方面的表现，并得出了一些结论。

    Oct, 2022

  • 通过基于人类实验协议评估自我注意力的解释性

    本文提出了一种新的基于注意力机制的可解释性方法，通过计算 Transformer 模型中与分类任务相关部分的注意力系数分布来评估每个单词的可解释性得分，实验结果证明这种方法在提供解释方面与常规方法相当。研究还发现，自注意力可以包含丰富的信息来解释 Transformer 分类器。

    Mar, 2023

  • 可解释性之间的大象：既然有显著性方法，为什么要使用关注力作为解释？

    本论文论述了在模型解释方面，关注度是否能够用作模型预测的解释存在争议，因为关注度虽然能够在每个输入令牌上提供一个权重，但往往不清楚它用作解释的目标是什么。作者认为，对于寻找与预测结果最相关的输入令牌并且解释的用户是模型开发人员的目标和用户，输入显著性方法更为合适，没有强有力的理由使用关注度。所以，本文提出应将注意力从关注度转向输入显著性方法，并要求作者明确解释的目标和用户。

    Oct, 2020

  • 稀疏注意力是否更易解释？

    本文探讨了如何使用稀疏注意力来解释模型，我们设计了一系列的实验来研究稀疏性对于注意力解释能力的影响。通过针对三个文本分类任务的实验证明了，在稀疏和非稀疏的注意力下，输入和协同中间表示之间存在一种微弱的关系。此外，本文发现稀疏的注意力分布无法映射到一组稀疏的具有影响力的输入，从而表明在诱导稀疏性的设置下，注意力可能无法作为理解模型行为的工具。

    Jun, 2021

  • 了解视觉和语言任务中的注意力

    本文综合分析了不同注意力计算方法在视觉与文本特征之间建立语义联系方面的作用，以及该计算机制的可解释性与模型性能之间的关系，研究结果表明不同的计算机制在不同 VL 任务的表现存在差异，这为注意力机制在 VL 任务中的训练中提供了洞见，对于建立跨模态模型和预训练模型都具有启示作用。

    Aug, 2022