本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域,以及平衡各种评估方法之间的比较,并提出一个后处理平滑步骤来改善一些归因方法的性能。
May, 2022
本研究旨在对四种基于梯度的属性方法进行分析,并在图像和文本分类领域的多个数据集上测试这些方法,提出了一种新的评估指标 Sensitivity-n,并在改进一些方法后建立了一个统一框架,使这些方法能够进行直接比较和更容易实现。
Nov, 2017
探索透视医学影像分类应用的影响映射方法和度量评估,提出 EvalAttAI 度量已有度量的局限并进行改进,结果显示:使用 Vanilla Gradient 方法的贝叶斯深度神经网络通常更具可解释性。
Mar, 2023
该研究拓展了深度学习可解释性领域的基础,引入了必要性、充分性和比例概念等新的度量方法研究输入归因,以便比较不同方法和解释结果。研究评估了用于图像分类的不同 CNN 解释方法在必要性和充分性方面的表现。
Feb, 2020
特征归因方法通过识别相关特征来解释神经网络的预测结果,本研究在 “忠实度” 范式内提出了两个新视角:可靠性和完备性,分别评估特征是否真正预测,以及归因结果是否完整,并基于数学基础提供可计算的定量度量,将这些指标应用于主流归因方法,为分析和比较特征归因方法提供了新视角。
Aug, 2023
本文首次将诸多启发式设计的 14 种归因方法的核心机制,统一为一个数学系统,证明这 14 种方法的归因得分都可以重构为两种效应的加权求和,即每个输入变量的独立效应和输入变量之间的相互作用效应,并提出 3 个公平分配效应的原则来评价这 14 种归因方法的忠诚度。
近年来,神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而,理解这些黑盒模型的内部机制仍具挑战性,但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外,通过全面的模拟研究,我们展示了常见缩放和编码技术对解释质量的影响,评估它们在不同效应大小中的功效,并展示了基于排序的评估指标的不一致性的来源。
Apr, 2024
本研究通过心理物理实验评估了 AI 系统的说明方法的人类使用者的理解能力,并发现不同的场景对于提高人类理解 AI 系统的说明方法的效果存在较大的差异,因此需要开发提供定性信息的补充方法。
Dec, 2021
该论文系统地回顾了现有的评估归属分数的方法,并总结了这些方法中的逻辑陷阱,旨在提高人们对不准确评估归属分数的注意力,并建议停止关注在不可靠的评估系统下提高性能方面的努力,而是致力于减少逻辑陷阱的影响。
Sep, 2021
本文重点研究时间序列分析,对比了几种最先进的卷积分类器解释方法,发现扰动法是较优选项,但也强调选择最适合的归因方法与所需用例的选择密切相关。
Feb, 2022