本文研究了深度网络输入特征对预测的影响,提出了敏感性和实现不变性两个公理,并指出大部分已知的边缘归因方法并不满足这两个公理。最后,作者设计了一种不需要修改原始网络的全新边缘归因方法——集成梯度,并将其应用于图像、文本和化学模型中。结果表明,该方法不仅具有调试和提取规则的功能,还能够有效地帮助用户更好地使用模型。
Mar, 2017
本研究旨在对四种基于梯度的属性方法进行分析,并在图像和文本分类领域的多个数据集上测试这些方法,提出了一种新的评估指标Sensitivity-n,并在改进一些方法后建立了一个统一框架,使这些方法能够进行直接比较和更容易实现。
Nov, 2017
提出了一种基于因果原理的神经网络归因方法,其中将神经网络架构视为结构因果模型,并提出了计算每个特征对输出的因果效应的方法,这种方法可以高效处理具有大量特征的数据,并在模拟和真实数据集上进行了实验验证。
Feb, 2019
该研究拓展了深度学习可解释性领域的基础,引入了必要性、充分性和比例概念等新的度量方法研究输入归因,以便比较不同方法和解释结果。研究评估了用于图像分类的不同CNN解释方法在必要性和充分性方面的表现。
Feb, 2020
本研究第一次进行用户研究来证明特征归因图对于ImageNet分类和Stanford Dogs细粒度分类的辅助作用,在更难的分类任务上,特征归因图并没有帮助,相反会降低人工智能和人类团队的性能,并且自动特征归因图评估指标与实际人工智能-人类团队的表现相关性较差,本研究提倡社区在人机互动的应用中对他们的方法进行严格的测试,并重新思考现有的评估指标。
May, 2021
本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域,以及平衡各种评估方法之间的比较,并提出一个后处理平滑步骤来改善一些归因方法的性能。
May, 2022
本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度,并在一系列模型上研究了一些广泛使用的归因方法的优缺点,并提出一种后处理平滑步骤以显著提高某些归因方法的性能。
Mar, 2023
特征归因方法通过识别相关特征来解释神经网络的预测结果,本研究在“忠实度”范式内提出了两个新视角:可靠性和完备性,分别评估特征是否真正预测,以及归因结果是否完整,并基于数学基础提供可计算的定量度量,将这些指标应用于主流归因方法,为分析和比较特征归因方法提供了新视角。
Aug, 2023
近年来,神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而,理解这些黑盒模型的内部机制仍具挑战性,但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外,通过全面的模拟研究,我们展示了常见缩放和编码技术对解释质量的影响,评估它们在不同效应大小中的功效,并展示了基于排序的评估指标的不一致性的来源。
Apr, 2024
本研究针对目前缺乏全面的数据归因库的问题,提出了开源库$\texttt{dattri}$。该库通过统一易用的API、模块化的低级功能以及全面的基准框架,简化了不同数据归因方法的开发和应用。重点发现是,$\texttt{dattri}$允许在大型神经网络模型上,高效地进行数据归因分析,从而提升AI性能和安全性。
Oct, 2024