重新审视基于类激活映射的可解释性评估:一种新的度量和实验分析
最近在深度学习方法学研究方面取得了一系列复杂的计算机视觉模型技术,达到甚至超过了人类的表现。然而,这些黑盒深度学习模型在可解释性和透明度方面存在一定限制,而这对将学习机器纳入涉及人类监督的敏感决策支持系统中是至关重要的。因此,解释性计算机视觉技术的发展近年来引起了越来越多的关注。在解释性计算机视觉领域中,类激活映射(CAMs)已被广泛认可和利用,以增强深度学习模型决策过程的可解释性和洞察力。本文全面概述了类激活映射方法随着时间推移的演变,并探讨了用于评估类激活映射的度量标准,并介绍了改善这些方法显著性的辅助技术。概述最后提出了未来研究的潜在方向。
Sep, 2023
本文提出了一种基于二元变量控制的 CNN 解释模型,并证明了 SHAP 值是以一组理想属性为特点的 CAM 系数的唯一解,进而引入一种基于 DeepLIFT 的高效估计 SHAP 值的方法 ——LIFT-CAM。实验证明 LIFT-CAM 在定量和定性方面均显著优于其他 CAM 方法。
Feb, 2021
本文提出一个名为 Score-CAM 的新型可解释性模型,通过与先前基于类激活映射的方法不同的方式,通过目标类的前向传递得分获得每个激活映射的权重,在权重和激活映射的线性组合下获得最终结果。它获得了更好的视觉性能,良好的公平性,适用于识别和定位任务,以及作为调试工具。该方法摆脱了对梯度的依赖,并通过测试验证。
Oct, 2019
使用 Class Activation Maps(CAMs)方法对深度学习模型进行全局解释,通过方块表示每个特征的分类影响,大小描述了不同样本间影响的变化,提供交互式直方图进行进一步分析筛选,从而在高维数据中检测重要特征并根据全局解释进行 AI 模型调整。
Jul, 2023
提出了一种名为功能激活映射(Feature Activation Map,FAM)的后期解释工具,以此来解释并理解没有全连接层的深度学习模型(如少样本学习图像分类、对比学习图像分类和图像检索任务),其原理是通过两个图像嵌入之间的相似性得出通道贡献权重,并将激活映射与相应的归一化贡献权重线性组合形成可视化的解释图。经过对十种深度学习模型进行的定量和定性实验表明,该算法的有效性。
Jul, 2023
提出了一种基于 Grad-CAM 的透明度技术,通过可视化重要的输入区域来提高人类对卷积神经网络(CNN)模型的理解,帮助理解包括图像字幕和视觉问答(VQA)模型在内的基于 CNN 的模型,并通过测量它们的分类能力、人类可信度和与遮挡地图的相关性来评估它们的视觉解释。
Nov, 2016
本文提出 Shap-CAM,一种基于类激活映射的新型后续可视化解释方法,通过获取 Shapley 值来消除依赖于梯度的先前方法的不足,表现出更好的视觉性能和公平性以解释决策过程。
Aug, 2022
提出了一种名为 CAManim 的 XAI 可视化方法,通过动画方式将基于 CAM 的网络激活图显示在所有层次上,从而有效地展示模型如何逐步达到最终层激活,不仅仅对模型进行定性评估,还提出了用于量化评估的新方法(ybROAD)。
Dec, 2023
深度学习中越来越需要可解释的 AI。我们的工作旨在将来自较早和较晚网络层的信息结合起来,产生具有竞争力的高分辨率 Class Activation Map,从而准确定位图像特征,从而超越以前的艺术水平。
Apr, 2022
本文基于对解释人工智能(XAI)的准确定义和公正衡量标准缺失的讨论,提出了一种广泛的实验研究,重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明,在当前所有方法中,梯度加权类激活映射(Grad-CAM)和随机输入抽样解释(RISE)在大多数指标上表现良好。另外,本文还提出了一种筛选指标的方法,以诊断模型分类基础,并探讨了当前指标所忽略的测量因素。
Dec, 2020