ECCVSep, 2022

使用注意力机制学习基于 DCNN 的图像分类器的视觉解释

PDF
TL;DR本文提出了两种新的基于学习的 eXplainable AI（XAI）方法，用于深度卷积神经网络（DCNN）图像分类器，称为 L-CAM-Fm 和 L-CAM-Img，通过插入在原始（冻结的）DCNN 中的注意机制，并被训练为从最后一个卷积层的特征映射中导出类激活映射（CAMs）。在 ImageNet 上的实验评估表明，提出的方法在要求单次正向传递的推理阶段实现了竞争结果，并基于推导得出的解释进行了全面的定性分析，提供了有价值的洞察力，用于理解分类错误背后的原因，包括可能影响训练分类器的数据集偏差。
explainable aiconvolutional neural networkclass activation mapsimage classificationdataset biases
发现论文，激发创造
  • 特征激活图：深度学习模型在图像分类中的可视化解释

    提出了一种名为功能激活映射（Feature Activation Map，FAM）的后期解释工具，以此来解释并理解没有全连接层的深度学习模型（如少样本学习图像分类、对比学习图像分类和图像检索任务），其原理是通过两个图像嵌入之间的相似性得出通道贡献权重，并将激活映射与相应的归一化贡献权重线性组合形成可视化的解释图。经过对十种深度学习模型进行的定量和定性实验表明，该算法的有效性。

    Jul, 2023

  • FM-G-CAM: 计算机视觉中可解释 AI 的整体方法

    本文介绍了一种全面的解释性方法 FM-G-CAM，它考虑了多个顶级预测类别，并提供了对预测卷积神经网络思维过程的完整解释，同时与 Grad-CAM 进行了比较，并通过实际应用案例突出了其优点。最后，我们介绍了一个使用 FM-G-CAM 生成卷积神经网络模型预测的显著性图的开源 Python 库。

    Dec, 2023

  • 学习何时何地参加

    使用人类注意力地图强化深度卷积神经网络的监控信号，并将其应用于目标识别，大幅提高了准确性并生成更接近人类观察者的可解释性更强的视觉特征。

    May, 2018

  • 特征 CAM：解释性图像分类中的人工智能

    我们的研究比较了应用于图像分类的激活方法（ABM）中最先进的方法，并通过引入新技术 Feature CAM，得到了在可解释性方面比现有技术提高 3-4 倍的结果。

    Mar, 2024

  • 自动检测阿尔茨海默病的可解释卷积神经网络（C-Attention Network）

    本文提出了三种可解释的深度学习体系结构，基于患者的语言能力自动检测阿尔茨海默病患者。这些体系结构使用词性特征、语言嵌入特征或这两种特征的统一体系结构，并使用自注意机制和可解释的一维卷积神经网络生成模型操作的两种类型解释：类内解释和类间解释。通过大量实验证明，该方法在 DementiaBank 数据集上的准确率为 92.2％，F1 分数为 0.952，同时能够生成解释。

    Jun, 2020

  • 增强可解释人工智能：结合 GradCAM 和 LRP 的混合方法用于 CNN 的解释性

    通过结合 GradCAM 和 LRP 方法，我们提出了一种新的技术来解释基于 CNN 的模型的输出。在这种方法中，首先对 GradCAM 方法产生的解释进行处理以去除噪声，然后将处理后的输出与 LRP 的输出逐元素相乘，最后对乘积应用高斯模糊。通过 Faithfulness、Robustness、Complexity、Localisation 和 Randomisation 等指标我们将该方法与 GradCAM 和 LRP 进行比较，发现该方法在 Complexity 方面性能更好，并且在其他指标中至少比其中一种方法表现更好。

    May, 2024

  • 通过基于归因的输入采样和块状特征聚合来解释卷积神经网络

    使用基于归因的输入抽样技术在模型的多个层面收集可视化映射并对其进行聚合，最终实现了对卷积神经网络解释的精细和完整的解释，同时提出了一种基于卷积神经网络模型的层选择策略。实验结果表明，该方法在解释准确度和视觉质量方面能够满足或超越现有方法，且稳定性良好。

    Oct, 2020

  • Grad-CAM: 基于梯度的定位，通过深度网络提供视觉解释

    该论文提出了 Gradient-weighted Class Activation Mapping (Grad-CAM) 技术，结合细粒度的可视化方法，通过对 CNN 模型中任意目标概念的梯度进行处理，使得决策更加透明和可解释，同时能够定位各个重要部件，提高模型泛化性。作者通过将 Grad-CAM 应用于图像分类、字幕和视觉问答模型，并通过人机交互实验证明，该技术能够帮助用户建立模型的信任度并成功辨别模型的强弱。

    Oct, 2016

  • 聚合类别激活图的可视化分析全局类特征的方法

    使用 Class Activation Maps（CAMs）方法对深度学习模型进行全局解释，通过方块表示每个特征的分类影响，大小描述了不同样本间影响的变化，提供交互式直方图进行进一步分析筛选，从而在高维数据中检测重要特征并根据全局解释进行 AI 模型调整。

    Jul, 2023

  • 注意力分支网络：视觉解释的注意机制学习

    本文提出了 Attention Branch Network（ABN）用于图像识别，它通过引入注意机制来表示图像的重要区域，并以分支结构扩展自顶向下的视觉解释模型，实现端到端的训练，同时提供了可视化的图像解释和获得比基准模型更高的精度。

    Dec, 2018