无监督发现可解释的视觉概念

Aug, 2023

Unsupervised discovery of Interpretable Visual Concepts

Caroline Mazini Rodrigues, Nicolas Boutry, Laurent Najman

TL;DR这篇论文提出了两种方法，最大激活群提取和多尺度可解释性可视化，以解释模型的决策，增强全局可解释性。实验证据表明多尺度可解释性可视化具有更高的定位和可信度价值。综合应用最大激活群提取和多尺度可解释性可视化可以达成人们根据可视化结果一致判断聚类概念的决策，并检测存在偏见的网络集合。

Abstract

Providing interpretability of deep-learning models to non-experts, while fundamental for a responsible real-world usage, is challenging. Attribution maps from xAI techniques, such as Integrated Gradients, are a t

interpretability deep-learning models visualization techniques maximum activation groups extraction multiscale interpretable visualization

发现论文，激发创造

聚合类别激活图的可视化分析全局类特征的方法

使用 Class Activation Maps（CAMs）方法对深度学习模型进行全局解释，通过方块表示每个特征的分类影响，大小描述了不同样本间影响的变化，提供交互式直方图进行进一步分析筛选，从而在高维数据中检测重要特征并根据全局解释进行 AI 模型调整。

Jul, 2023

强韧的语义可解释性：重新审视概念激活向量

该研究提出了一种基于 Robust Concept Activation Vectors 的诠释方法，用于评估图像分类模型的可靠性和模型是否存在系统偏差。该方法关注语义概念，如纹理、颜色和性别等，通过梯度上升来评估模型对给定概念的敏感性，并构建了两个基准数据集来评估本方法的实际可用性和科学用途。

Apr, 2021

使用与模型无关方法生成详细显著性地图

本研究关注机器学习模型的解释方法，介绍了一种基于 RISE 的改进方法 VRISE，包括使用凸多边形覆盖替代了方形遮挡，并加入信息保证生成器来提高解释准确性和加速收敛速度。实验证明，使用 VRISE 产生的沙漏图更加精确并且不需要过多的计算开销。

Sep, 2022

迭代集成归因的视觉解释

通过迭代整合属性（IIA）方法来解释视觉模型的预测，IIA 方法通过迭代整合输入图像、模型生成的内部表示以及它们的梯度，得到精确而聚焦的解释图。我们通过对各种任务、数据集和网络架构的综合评估验证了 IIA 的有效性，研究结果表明 IIA 产生了准确的解释图，优于其他最先进的解释技术。

Oct, 2023

应用多示例学习和基于梯度的解释改进全切片成像辅助诊断工具的可解释性

在医学领域，深度学习方法已得到广泛应用。而深度学习方法面临的下一个重要挑战是解释性，即如何解释模型的决策。本文针对整个切片图像分类的情境，提出了一种基于梯度法、特征可视化和多实例学习等方法的解释性方法，旨在解释如何基于瓦片级别的评分做出决策、如何决定这些瓦片得分以及用于任务的哪些功能是相关的。通过在 Camelyon-16 整个切片图像数据集上进行训练，突出区分性特征的学习，并通过病理学家的验证，我们提出了一种基于提取特征的新型计算解释性幻灯片级别热图的方法。此方法的实验结果显示，该方法可以提高 AUC 的瓦片级分类性能达 29% 以上

Sep, 2020

扩展基于 CAM 的遥感图像分割的可解释人工智能方法

通过适应最近的 XAI 分类算法并将它们用于多类别图像分割，本文着重于对高分辨率卫星图像中的建筑物分割的研究，引入了一种基于 “熵” 来衡量模型不确定性的新的 XAI 评估方法和指标，以此来提供透明度和可解释性，为图像分割领域的 XAI 研究和遥感应用铺平道路。

Oct, 2023

多模态自动可解释性代理

这篇论文介绍了 MAIA，一种多模态自动解释性代理。MAIA 是一个使用神经模型自动化神经模型理解任务的系统，如特征解释和故障模式发现。它通过提供一系列工具来对其他模型的子组件进行迭代实验，从而对其行为进行解释。这些工具包括人工解释性研究人员常用的工具：用于合成和编辑输入、计算最大激活样本、以及总结和描述实验结果。MAIA 提出的解释性实验将这些工具组合起来描述和解释系统行为。我们评估了 MAIA 在计算机视觉模型中的应用。首先，我们描述了 MAIA 在学习到的图像表示的特征（神经元级别）中的描述能力。在多个经过训练的模型和一个包含真实描述的人工生成视觉神经元数据集中，MAIA 生成了与由专家人工实验者生成的描述相当的结果。然后，我们展示了 MAIA 在两个附加的可解释性任务中的应用：降低对虚假特征的敏感性和自动识别可能被错误分类的输入。

Apr, 2024

将基于梯度的技术转化为可解释方法

通过 xFAI 技术来阐述卷积神经网络 (CNN) 经常在解释中面临挑战，图像提取的像素等输入特征的固有复杂性产生复杂的相关性，以 Integrated Gradients (IG) 为代表的基于梯度的方法有效地展示了这些特征的重要性，然而，这些解释转化为图像通常会产生大量的噪声。我们引入了 GAD (Gradient Artificial Distancing) 作为基于梯度的技术的支持框架，其主要目标是通过建立类之间的区别来强调有影响力的区域。GAD 的本质是在可视化过程中限制分析范围，并因此减少图像噪声。经过对遮挡图像的实证研究表明，通过这种方法识别出的区域确实在促进类别区分方面起到关键作用。

Jan, 2024

特征 CAM：解释性图像分类中的人工智能

我们的研究比较了应用于图像分类的激活方法（ABM）中最先进的方法，并通过引入新技术 Feature CAM，得到了在可解释性方面比现有技术提高 3-4 倍的结果。

Mar, 2024

可视化解释性的类激活图综述

最近在深度学习方法学研究方面取得了一系列复杂的计算机视觉模型技术，达到甚至超过了人类的表现。然而，这些黑盒深度学习模型在可解释性和透明度方面存在一定限制，而这对将学习机器纳入涉及人类监督的敏感决策支持系统中是至关重要的。因此，解释性计算机视觉技术的发展近年来引起了越来越多的关注。在解释性计算机视觉领域中，类激活映射（CAMs）已被广泛认可和利用，以增强深度学习模型决策过程的可解释性和洞察力。本文全面概述了类激活映射方法随着时间推移的演变，并探讨了用于评估类激活映射的度量标准，并介绍了改善这些方法显著性的辅助技术。概述最后提出了未来研究的潜在方向。

Sep, 2023