泛化 Embedding 网络的 GradCAM
该论文提出了 Gradient-weighted Class Activation Mapping (Grad-CAM) 技术,结合细粒度的可视化方法,通过对 CNN 模型中任意目标概念的梯度进行处理,使得决策更加透明和可解释,同时能够定位各个重要部件,提高模型泛化性。作者通过将 Grad-CAM 应用于图像分类、字幕和视觉问答模型,并通过人机交互实验证明,该技术能够帮助用户建立模型的信任度并成功辨别模型的强弱。
Oct, 2016
提出了一种基于 Grad-CAM 的透明度技术,通过可视化重要的输入区域来提高人类对卷积神经网络(CNN)模型的理解,帮助理解包括图像字幕和视觉问答(VQA)模型在内的基于 CNN 的模型,并通过测量它们的分类能力、人类可信度和与遮挡地图的相关性来评估它们的视觉解释。
Nov, 2016
通过计算 Grad-CAM 的基于梯度项的路径积分,我们提出了一种解决方法,可以更好地说明该模型提取的特征对其预测的重要性,对于物体定位和模型解释具有重要意义。
Feb, 2021
该论文介绍了一个名为 Grad-CAM++ 的泛化方法,它以更好的对象定位和解释单个图像中多个对象实例的方式提供了更好的 CNN 模型预测视觉解释,并在标准数据集上进行了广泛的实验和评估,包括分类,图像字幕生成和 3D 动作识别等多个任务。
Oct, 2017
本文介绍了一种叫做 Smooth Grad-CAM++ 的新方法,用于可视化神经网络内部的决策过程并解释其输出,该方法在多种场合下表现出更优秀的效果,特别是在物体定位和图像分类方面。
Aug, 2019
本文提出了一种新的基于聚类的 CNN 解释算法 Cluster-CAM,它可以分离特征图并采用认知基础映射和认知剪切策略来合并认知图生成显著性热力图,结果显示 Cluster-CAM 比现有的 CAM 能够更准确地匹配人类认知,且在效率和效果上都具有显著优势。
Feb, 2023
本文提出了两个公理– 保守性和灵敏度,为 CAM 方法的可视化范式引入了理论支持,并提出了一个专门基于公理的 Grad-CAM(XGrad-CAM),以尽可能地满足这些公理。实验证明,相对于 Grad-CAM++ 和 Ablation-CAM,XGrad-CAM 在保守性和灵敏度方面均有所提高,能够比 Grad-CAM 实现更好的可视化性能,同时具有类别区分能力和易实现性。
Aug, 2020
本论文提出了一种将 Grad-CAM 从基于实例的解释方法扩展到全局模型行为解释方法的新方法,其中引入了两个新指标来评估模型的泛化能力,利用对原始测试集和敌对测试集样本的 Grad-CAM 生成热图的规范化倒置结构相似性指标(NISSIM)来计算这些指标,该方法能够帮助了解 CNN 模型在图像分析中的异常行为。
Apr, 2022
本文介绍了一种新的用于计算神经网络预测的可视化解释技术,该技术可以在卷积神经网络的任何层上应用,并且不受消失梯度问题的影响,采用 Riemann-Stieltjes 和逼近法进行层级数值梯度积分。与 Grad-CAM 相比,我们算法产生的热图更清晰地聚焦于感兴趣的区域,并且计算更稳定。
May, 2022
CAM-based 方法是广泛使用的事后解释性方法,通过生成热点图来解释图像分类模型的决策。在本文中,我们展示了大部分这些方法可能会错误地将重要分数归因于模型无法看到的图像部分。我们从理论和实验两方面分析了该现象,并通过两个新数据集进行了定量评估。我们认为这是有问题的,可能导致对模型行为的错误解释。
Apr, 2024