Sep, 2020

一个基于定义导向的流程：用于解释性评估

PDF
TL;DR在自然语言处理模型的可解释性问题上，我们需要定义一个明确的解释定义，以及评估方式，同时需要注意评估指标可能会带来评估偏见，影响解释方法的选择。
interpretationtransparencynlp modelsattention interpretationevaluation metric
发现论文，激发创造
  • 朝着忠实可解释的自然语言处理系统迈进：我们应该如何定义和评估忠实性？

    本文探讨了深度学习基础下的 NLP 模型识别问题，并呼吁更明确地区分不同标准，其中聚焦于 “忠实性” 标准。通过调查已有研究文献，将现有方法分为三种假设，并提供了具体指南来评估解释方法。最后，提出当前的 “忠实性” 定义是不真实的二元概念，呼吁使用更优选的渐进性概念。

    Apr, 2020

  • 自然语言处理中的模型解释的敏感性和稳定性

    该研究提出两个衡量 NLP 模型判断过程解释准确性的新标准，即灵敏度和稳定性，并引入了一种新的基于对抗性鲁棒性的解释方法，证明了其在相应标准下的优越性。还应用该方法和度量标准在依赖分析中。

    Apr, 2021

  • 文本分类中基于 Transformer 多重注意力解释的忠实仲裁：针对每个决策都有的注意力矩阵

    该文章提出了一种基于注意力的可解释性技术，可在维持模型性能和减少计算复杂度的同时提高模型的解释性。与此同时，还引入了一种更适用于 transformer 模型的忠实度度量标准，并在七组数据集中进行了定量和定性实验验证其实用价值。

    Sep, 2022

  • 评估解释的统一框架

    评估可解释性模型的统一框架是该论文的重点，它介绍了各个研究群体对解释性评估的重叠和语义错位，并提出了解释的可行性和可理解性的评估标准，以及基于可解释神经网络的学习行为预测的案例。

    May, 2024

  • 神经网络自然语言处理的事后可解释性：一项综述

    本文主要讨论了近期后续方法如何向人类传达模型解释的分类，深入讨论了每种方法及其验证过程。

    Aug, 2021

  • 可解释的深度学习：解释、可解释性、可信度及其他

    本文综述了神经网络的解释工具和算法，提出了一种新的分类方法，介绍了解释结果的评估方法和信任度算法的应用，讨论了深度模型解释与鲁棒性和借鉴解释的联系，并介绍了一些开源库。

    Mar, 2021

  • 对自然语言处理中可解释性度量的质疑：对谁忠诚？

    该研究论文探讨了模型可解释性的常见方法，并指出了当前的可信度度量指标的局限性以及合理利用它们的关键考虑因素。

    Aug, 2023

  • 模型解释性的神话

    本文探讨了监督机器学习模型的解释能力，发现解释能力的动机与方法存在多样性和不一致性，因此提出了透明度与后期解释等多种方法，并怀疑线性模型易于解释而深度神经网络不易解释这一流行观点。

    Jun, 2016

  • 关于自然语言处理样本解释方法的效率、忠实度和语义评估

    本论文提出一种在自然语言处理中，以任意文本序列作为解释单元以提高解释的可解释性、效率和忠实度的方法，该方法实现了一种带模型的忠实度保证的 Hessian-free 算法，并且提出了一种基于语义的评估度量，该度量可以更好地与人类对解释的判断相匹配。多个实际数据集的实证结果表明，相对于 Influence Function 或 TracIn 等解释技术，所提出的方法具有优越的性能。

    Jun, 2021

  • 探究归因方法的改进

    本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

    May, 2022