May, 2021

特征归属方法的效果及其与自动评估得分的相关性

PDF
TL;DR本研究第一次进行用户研究来证明特征归因图对于 ImageNet 分类和 Stanford Dogs 细粒度分类的辅助作用，在更难的分类任务上，特征归因图并没有帮助，相反会降低人工智能和人类团队的性能，并且自动特征归因图评估指标与实际人工智能 - 人类团队的表现相关性较差，本研究提倡社区在人机互动的应用中对他们的方法进行严格的测试，并重新思考现有的评估指标。
artificial intelligencefeature attribution methodsimagenet classificationstanford dogs fine-grained classificationhuman-in-the-loop applications
发现论文，激发创造
  • EvalAttAI: 对鲁棒和非鲁棒模型中评估属性图的整体方法

    探索透视医学影像分类应用的影响映射方法和度量评估，提出 EvalAttAI 度量已有度量的局限并进行改进，结果显示：使用 Vanilla Gradient 方法的贝叶斯深度神经网络通常更具可解释性。

    Mar, 2023

  • 结合特征和实例归因来检测伪影

    本文提出了一种新的训练特征归因方法，通过结合显著性图和实例归因方法，可以有效地发现训练数据中的人工瑕疵，并在实验中取得了良好的结果。

    Jul, 2021

  • 特征归因方法是否正确归因特征？

    本研究探讨了利用特征归因方法进行机器学习的解释，提出通过修改数据集来产生真实归因的方法，并对三种常见的归因方法：显著性图、原理和注意力进行评估，发现这些方法在野外数据集中的正确性和可靠性值得怀疑，建议在部署前使用基准来测试新的归因方法。

    Apr, 2021

  • 我不能预测的，我就不理解：一个以人为中心的可解释性方法评估框架

    本研究通过心理物理实验评估了 AI 系统的说明方法的人类使用者的理解能力，并发现不同的场景对于提高人类理解 AI 系统的说明方法的效果存在较大的差异，因此需要开发提供定性信息的补充方法。

    Dec, 2021

  • 自动归因评估的难度有多大？

    通过提供引用的证据，现代生成式搜索引擎增强了大型语言模型（LLM）响应的可靠性。为了弥补缺乏这些方法的标准化基准的差距，我们提出了 AttributionBench，这是一个由各种现有归因数据集编制的综合基准。我们在 AttributionBench 上进行了大量实验，揭示了即使对于最先进的 LLM 也存在自动归因评估的挑战。

    Feb, 2024

  • 挑战功能归因解释中的常见可解释性假设

    通过人类实验，我们发现属性解释法在某些情况下会导致决策者做出更糟糕的决策，这一结果挑战了应用这些方法的普遍好处的假定，在可解释的 AI 研究中人类评价的重要性下应该得到重视。

    Dec, 2020

  • 神经网络特征评估中的不一致问题探究

    近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

    Apr, 2024

  • 探究归因方法的改进

    本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

    May, 2022

  • 通过系统评估更好地理解归因方法的差异

    本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度，并在一系列模型上研究了一些广泛使用的归因方法的优缺点，并提出一种后处理平滑步骤以显著提高某些归因方法的性能。

    Mar, 2023

  • 评估图像分类中的偏差

    本研究通过使用归因地图的方法，系统性地揭示数据偏差，从而证明了某些归因地图技术比其他技术更好地凸显了数据中的偏差，并且度量可以支持发现偏差。

    Jul, 2021