Oct, 2023

评估本地解释中的归咎问题及其解决方法

PDF
TL;DR对于局部模型无关解释的评估方法，以鲁棒性、基于合成数据集和可解释模型的地面真实性评估、模型随机化和人为评估为分类，本研究提出了一种新的评估分类方法并指出除了基于可解释模型的地面真实性评估外，其他评估方法都存在 “责怪问题”。然而，即使是基于可解释模型的地面真实性评估方法仍存在一定的局限性，局部解释的评估仍然是一个未解决的研究问题。
local model-agnostic explanation techniquesevaluation measuresrobustnessground truthinterpretable models
发现论文，激发创造
  • 解释的普适性

    本文提出了一种新的可解释性方法评估方法，从可泛化性的角度出发，使用自编码器学习生成解释的分布，并观察其可学性和学习分布特征的合理性；同时进行了 LIME 可解释性方法的直观演示，以及对多个流行可解释性方法的数量评估，并发现使用 SmoothGrad 来平滑解释可以显著增强解释的泛化性。

    Feb, 2023

  • 机器学习模型本地可解释性的真实元解释

    本文探讨了如何提高复杂机器学习系统的可解释性，通过介绍采用基于诚实度的指标的局部元解释技术，给出了一个可行的解决方案。

    Dec, 2022

  • 好看但缺乏忠诚：通过趋势测试理解局部解释方法

    通过对传统的可解释性测试进行评估，发现在复杂数据方面存在随机优势问题。为了解决这个问题，我们提出了三种基于趋势的可信度测试，并通过实证研究证明新的趋势测试可以更好地评估图像、自然语言和安全任务的可信度。我们实施了评估系统并评估了十种常用的解释方法，从中获得了前所未有的发现，启发了未来的研究。同时，可信度测试也极大地提高了下游任务的效果。例如，配备可靠的解释方法的模型调试在检测和修正准确性和安全性问题方面表现出更好的性能。

    Sep, 2023

  • 可解释机器学习中无基础真实性解释的评估

    本文系统地定义了评估 interpretable machine learning 方法的问题，并全面回顾了现有工作。作者提出了三个方面的解释（即泛化性、准确性和说服性），并分别回顾了不同任务下的代表性方法，设计了一个统一的评估框架，用于实践中的不同场景。

    Jul, 2019

  • 黑匣子模型的全局局部解释

    本研究提出了一种名为 GALE 的机器学习模型，旨在提供有关模型全局决策过程的洞见。结果表明，聚合方法的选择很重要，我们的提出的聚合方法能更好地代表特征如何影响模型的预测，并通过识别区分性特征提供全局洞见。

    Jul, 2019

  • 信念偏误和解释的交互作用

    该研究介绍了解释性方法的评估问题，说明了评估中信仰偏见的重要性并提出了 NLP 从业者应该如何解决这一问题，同时通过基于梯度的解释性案例研究得到，在评估中考虑个体先验信仰的重要性。

    Jun, 2021

  • 重新思考用户研究设计以评估模型解释

    该研究通过一个众包实验，探讨解释机器学习模型的预测对人类是否具有帮助，并发现在给定特征系数的情况下，人们能够更有效地对线性词袋模型进行操纵，但解释对 BERT 型分类器并没有显著提高操纵能力，而通过伪造 BERT 模型的线性模型的对全局归属的解释则可以有效地操作 BERT 型模型。

    Dec, 2021

  • 概念解释估计应该具备不确定性意识

    用可理解的人类概念来解释模型的全局解释的不稳定性问题以及提出了一种基于不确定性的贝叶斯估计方法，可以提高概念解释的可靠性。

    Dec, 2023

  • 无需真实标注：统一解释方法评估

    本文提出了一组用于评估神经网络解释方法客观性的标准，设计了四个度量标准来评估解释结果（即没有真实解释数据情况下），并对九种基准解释方法进行了广泛应用，从而提供了解释方法的新见解。

    Nov, 2019

  • 传统机器学习模型解释方法比较第一部分：目前方法概述及其不一致性量化

    这篇论文探讨了机器学习模型的可解释性和可解释性，特别是关于本地和全局可解释性以及特征重要性和相关性的方法，并提供了一个完整的 Python 软件包来允许未来的研究人员探索这些产品；根据对严重天气预测和亚冰点路面温度预测的 ML 模型开发的研究， 发现有关特征排名和特征效果的解释方法之间存在显着不一致，并提供建议来处理这些分歧；最后，建议在未来的研究中使用 tree interpreter 方法来探究特征效果。

    Nov, 2022