ACLMay, 2021

利用任务特定信息提高基于注意力解释的文本分类中的忠诚度

PDF
TL;DR本文提出了一种新型的 TaSc 机制，学习任务特定的非上下文信息以扩展原始的 Attention 权重，通过评估测试，证明 TaSc 可以提高 Attention 解释在两种注意机制，五个编码器和五个文本分类数据集上的解释 品质而不牺牲预测性能，并且相对于三种广泛使用的可解释性技术，TaSc 一致提供更加忠实的 Attention 解释。
attention mechanismsneural network architecturesexplanation faithfulnesstext classificationtasc mechanisms
发现论文，激发创造
  • 坚持承诺：（如何）让注意力成为解释？

    研究关注机制在 NLP 中的应用，提出了一个针对循环网络序列分类任务中存在的问题的解决方法，并给出了证明，说明关注机制可以提供循环模型的可靠解释。

    May, 2020

  • 基于注意力解释的欺骗学习

    本研究提出一种简单方法，通过训练模型生成欺骗性的注意力掩码，从而质疑注意机制的可靠性，因为通过操纵注意权重，即使我们可以证明模型仍然依赖这些特征来驱动预测，我们的方法会减少指定的不允许的标记被分配的总权重。通过人类研究，我们展示了我们操作注意力的解释会欺骗人们认为偏见的模型的预测不依赖性别，从而对注意力在公平性和问责制的算法审计工具上的可靠性产生怀疑。

    Sep, 2019

  • 透明可解释的注意力模型

    本文研究基于 LSTM 的编码器的注意力机制的可解释性问题，发现现有的注意力机制不能提供清晰的解释，因为同步隐藏状态之间的高相关性使得注意权重缺乏了传达重要信息的能力。为了使注意力机制更为可信和可解释，作者提出一种基于多样性驱动的训练目标修改 LSTM 结构，实现不同时步的隐藏状态的多样化，以提高注意力分布的质量和可解释性。

    Apr, 2020

  • 文本分类中基于 Transformer 多重注意力解释的忠实仲裁：针对每个决策都有的注意力矩阵

    该文章提出了一种基于注意力的可解释性技术，可在维持模型性能和减少计算复杂度的同时提高模型的解释性。与此同时，还引入了一种更适用于 transformer 模型的忠实度度量标准，并在七组数据集中进行了定量和定性实验验证其实用价值。

    Sep, 2022

  • 享受显著性：基于单词显著性的 Transformer 模型的更好及忠实解释

    本文探讨了如何提高基于预训练 Transformer 的模型的预测性能以及其对于预测理由的准确性，并提出了一种名为 SaLoss 的辅助损失函数，该函数利用 TextRank 方法从训练数据中提取信息以辅助 BERT 进行下游任务的微调，实验证明使用该函数训练的模型比普通 BERT 模型更加准确和有说服力，提高了在下游任务中的预测性能。

    Aug, 2021

  • 注意力是否可解释？

    测试加权输入组件的注意机制对于模型预测的影响，发现虽然注意机制可以预测输入组件的相对重要性，但并非绝对准确的指标。

    Jun, 2019

  • 注意力不等于解释

    通过多个 NLP 任务的广泛实验，发现学习的注意力权重往往与基于梯度的特征重要性测量之间存在不相关性，表明标准的注意力模块并不能提供有意义的解释并且不应该被视为能够提供这种解释。

    Feb, 2019

  • 忠实关注解释器：基于辨别特征的决策语言化

    我们提出了 Faithful Attention Explainer（FAE）的框架，用于生成关于关注特征的忠实文本解释，并展示了该模型在生成图像描述和解译人类注意力方面的良好性能。

    May, 2024

  • 探究神经机器翻译中注意力的解释能力

    本文通过引入反事实的注意力模型，评估了注意力模型在神经机器翻译中的解释能力，结果表明注意力模型无法可靠地解释 NMT 模型的决策。

    Sep, 2019

  • 基于忠实注意力机制的细粒度情感分析

    通过使用人类理性训练模型关注重点，我们的实验发现我们的情感分类模型提高了 4~8 个点的性能，并通过严格的指标分析证明了这一点。

    Aug, 2019