AAAIApr, 2021

特征归因方法是否正确归因特征？

PDF
TL;DR本研究探讨了利用特征归因方法进行机器学习的解释，提出通过修改数据集来产生真实归因的方法，并对三种常见的归因方法：显著性图、原理和注意力进行评估，发现这些方法在野外数据集中的正确性和可靠性值得怀疑，建议在部署前使用基准来测试新的归因方法。
feature attributioninterpretable machine learningsaliency mapsrationalesattentions
发现论文，激发创造
  • 使用相对特征重要性对归因方法进行基准测试

    该研究提出了一个基准测试框架，用于定量评估不同的特征归因方法的效果，并指出某些方法更容易产生错误的特征解释，该框架包括精心设计的数据集、已知相对特征重要性的模型和三个互补的度量标准。

    Jul, 2019

  • 走向严格解释：特征归因的形式化

    本文提出了一种基于放松的功能依赖概念的特征选择 / 归因的正式化方法，通过在合成数据集上计算基本真实的归因，评估了许多最先进的归因方法，并展示了即使在优化时，某些归因方法也无法验证所提出的属性并提供错误的解决方案。

    Apr, 2021

  • 特征归属方法的效果及其与自动评估得分的相关性

    本研究第一次进行用户研究来证明特征归因图对于 ImageNet 分类和 Stanford Dogs 细粒度分类的辅助作用，在更难的分类任务上，特征归因图并没有帮助，相反会降低人工智能和人类团队的性能，并且自动特征归因图评估指标与实际人工智能 - 人类团队的表现相关性较差，本研究提倡社区在人机互动的应用中对他们的方法进行严格的测试，并重新思考现有的评估指标。

    May, 2021

  • 神经网络特征评估中的不一致问题探究

    近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

    Apr, 2024

  • 结合特征和实例归因来检测伪影

    本文提出了一种新的训练特征归因方法，通过结合显著性图和实例归因方法，可以有效地发现训练数据中的人工瑕疵，并在实验中取得了良好的结果。

    Jul, 2021

  • 深度学习架构中特征归因的协调：增强可解释性和一致性

    本研究旨在检验特征归因法在不同深度学习架构模型间的泛化能力，以及探索归一化的特征解释方法在提高机器学习应用的可解释性和信任度方面的潜力。

    Jul, 2023

  • 评估特征归因方法的双重视角方法

    特征归因方法通过识别相关特征来解释神经网络的预测结果，本研究在 “忠实度” 范式内提出了两个新视角：可靠性和完备性，分别评估特征是否真正预测，以及归因结果是否完整，并基于数学基础提供可计算的定量度量，将这些指标应用于主流归因方法，为分析和比较特征归因方法提供了新视角。

    Aug, 2023

  • 探究归因方法的改进

    本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

    May, 2022

  • 统一特征归属和反事实说明：不同的手段达成了相同的目的

    通过真实因果关系框架提供一种将特征归因和反事实解释统一的解释方法，通过在 Adult-Income，LendingClub 和 German-Credit 三个基准数据集上的实验，发现 Feature attribution 方法和 counterfactual explanation 方法并不总是一致的，也表明了他们之间的互补性。

    Nov, 2020

  • 通过系统评估更好地理解归因方法的差异

    本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度，并在一系列模型上研究了一些广泛使用的归因方法的优缺点，并提出一种后处理平滑步骤以显著提高某些归因方法的性能。

    Mar, 2023