EvalAttAI: 对鲁棒和非鲁棒模型中评估属性图的整体方法

Mar, 2023

EvalAttAI: 对鲁棒和非鲁棒模型中评估属性图的整体方法

EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models

Ian E. Nielsen, Ravi P. Ramachandran, Nidhal Bouaynaya, Hassan M. Fathallah-Shaykh, Ghulam Rasool

TL;DR探索透视医学影像分类应用的影响映射方法和度量评估，提出 EvalAttAI 度量已有度量的局限并进行改进，结果显示：使用 Vanilla Gradient 方法的贝叶斯深度神经网络通常更具可解释性。

Abstract

The expansion of explainable artificial intelligence as a field of research has generated numerous methods of visualizing and understanding the black box of a machine learning model. Attribution maps are generally used to highlight the parts of the input image that influence the model

explainable artificial intelligence attribution mapping robust neural networks medical imaging evalattai metric

发现论文，激发创造

特征归属方法的效果及其与自动评估得分的相关性

本研究第一次进行用户研究来证明特征归因图对于 ImageNet 分类和 Stanford Dogs 细粒度分类的辅助作用，在更难的分类任务上，特征归因图并没有帮助，相反会降低人工智能和人类团队的性能，并且自动特征归因图评估指标与实际人工智能 - 人类团队的表现相关性较差，本研究提倡社区在人机互动的应用中对他们的方法进行严格的测试，并重新思考现有的评估指标。

May, 2021

解析 AI 归因方法的精确基准测试

我们提出了一种新的评估方法，用于基准测试最先进的可解释 AI 归因方法，该方法由合成的分类模型及其衍生的地面实况解释组成，该方法提供了关于 XAI 方法输出的更深入的洞察。

Aug, 2023

探究归因方法的改进

本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

May, 2022

通过系统评估更好地理解归因方法的差异

本研究提出了三种评估方案以更可靠地衡量不同的图像归因方法的可信度，并在一系列模型上研究了一些广泛使用的归因方法的优缺点，并提出一种后处理平滑步骤以显著提高某些归因方法的性能。

Mar, 2023

使用多路径归因映射改善解释独立表示

该论文提出了一个框架，利用可解释的分离表示来进行下游任务预测，并通过可视化分离表示来加强和验证解释，从而在卫生保健的临床诊断中降低由于因果关系错误而导致的危险选择和提高模型的鲁棒性。

Jun, 2023

增强型正则化方法用于权责稳健性

该研究论文旨在提出一种强健的归因训练策略来提高深度神经网络的归因鲁棒性，针对近年来的研究表明，尽管这些模型被给予两张非常相似的图像，但其产生的归因图可能会有很大的不同，从而引发了对其可信度的质疑。这个方法通过引入保护模型归因图免受攻击的两个新的正则器来提高归因鲁棒性，并在多个数据集上超越了最先进的归因鲁棒性方法。

Dec, 2020

您能相信您的解释吗？特征归因方法的健壮性测试

评估对非敌对扰动的稳健性并分析神经网络和表格数据集上应用的可解释 AI 方法的稳健性，展示如何利用流形假设和集成方法对稳健性进行深入分析。

Jun, 2024

神经网络特征评估中的不一致问题探究

近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

Apr, 2024

评估图像分类中的偏差

本研究通过使用归因地图的方法，系统性地揭示数据偏差，从而证明了某些归因地图技术比其他技术更好地凸显了数据中的偏差，并且度量可以支持发现偏差。

Jul, 2021

我不能预测的，我就不理解：一个以人为中心的可解释性方法评估框架

本研究通过心理物理实验评估了 AI 系统的说明方法的人类使用者的理解能力，并发现不同的场景对于提高人类理解 AI 系统的说明方法的效果存在较大的差异，因此需要开发提供定性信息的补充方法。

Dec, 2021