评估深度神经网络学习的可视化

Sep, 2015

Evaluating the visualization of what a Deep Neural Network has learned

Wojciech Samek, Alexander Binder, Grégoire Montavon, Sebastian Bach, Klaus-Robert Müller

TL;DR本文提出了一种可视化深度神经网络分类决策的方法，使用基于区域扰动的方法评估热图，并比较了三种不同方法计算的热图对网络分类决策的解释力，结果发现基于层级相关传播方法对解释分类决策的效果更好。同时，本文还探讨了利用热图进行神经网络性能无监督评估的方法。

Abstract

deep neural networks (DNNs) have demonstrated impressive performance in complex machine learning tasks such as image classification or speech recognition. However, due to their multi-layer nonlinear structure, they are not transparent, i.e., it is hard to grasp what makes them arrive a

deep neural networks interpretation heatmap layer-wise relevance propagation neural network performance

发现论文，激发创造

通过分解深度控制解释性热力图的分辨率和语义

本文将 Layer-wise Relevance Propagation 算法应用于深度卷积神经网络和 Fisher Vector 分类器，通过可视化热图比较两种分类器的图像感知和预测策略。作者演示了在 LRP 过程中不同分解截止点选择对测试图像热图分辨率和语义的影响。

Mar, 2016

可解释的深度神经网络用于单次试验的脑电波分类

本研究探讨利用 DNNs 和 LRP 应用于 EEG 数据分析，发现 DNNs 在分类准确性上具有可比性，并且通过 LRP 的热图，可以提供神经活动高分辨率的评估，这是 DNN 在神经科学应用中被限制使用的可解释性不足的潜在解决方案。

Apr, 2016

超越显著性：从层级关联传播的显著性预测理解卷积神经网络

本论文提出了一种新的二步解释方法 —— SR map，可以更好地理解深度卷积神经网络如何识别图像并从所谓的注意区域中学习特征。该方法清楚地表明了哪些关键像素和注意力区域对于深度卷积神经网络理解给定的图像是有贡献的。

Dec, 2017

使用解释方法解决基于深度学习的组织病理学图像分析中的挑战

本文介绍了解释方法在数字病理学中的应用，以生成热图来解决深度学习方法在数字组织病理学分析中遇到的常见问题，包括对组织病理学数据固有的偏见。通过像素级热图的方法，我们能够精确诊断并帮助发现和消除数据中的偏见，证明解释方法是数字病理学应用开发和部署阶段中的有益工具。

Aug, 2019

通过逐层相关性传递解释复杂机器学习模型的预测

本文介绍一种基于输入变量对深度神经网络分类决策进行分解的技术，以提高其透明度和可解释性。

Nov, 2016

关于视觉解释的定量评估的一致性

研究神经网络的预测可视化解释，并评价这些解释的好坏。其中，绝大多数评价方法使用 ImageNet-1k 和人工检测评估结果，结果表明评价方法之间缺乏一致性。同时，解释的稀疏性对评价方法的表现具有显著影响。

Feb, 2023

SAfER: 高效稳健的神经网络推理的层级敏感性评估

深度神经网络在计算机视觉任务中表现出色，但对于关键应用，需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法，旨在估算其对准确性的敏感性，并提出了用于评估该方法的新数据集，为提高 DNN 效率和硬件故障鲁棒性（如位交换）提供了参考。

Aug, 2023

面向深度神经网络可视化的区域多尺度方法

该论文提出了一种基于区域的方法来估计图像中特征的重要性，利用多尺度分割产生更具类别区分度和视觉效果的显著图，通过对输入图像进行多尺度分割来构建一个正态分布，并对边界先验进行仿真，证明该方法比传统方法更有效。

Jul, 2018

VisualBackProp: 有效可视化卷积神经网络

该研究提出了一种名为 VisualBackProp 的新方法，用于实时可视化基于卷积神经网络（CNN）的系统中哪些输入像素集对预测结果产生最大影响，通过探索特征映射中趋于不重要的信息，该方法可以计算速度快于传统的正向传递方法，并可作为一种有价值的调试工具进行训练与推断。

Nov, 2016

基于解释的模型指导将图像分类器转化为分割模型

利用解释性 AI 方法，如 Grad-CAM 和 LRP 生成的热图在许多情况下与输入图像的分割相似，因此利用热图可以实现利用图像级监督进行弱监督分割。同时，可以对可微分的热图施加损失，这用于提高热图的人工可解释性、对网络进行正则化以获得更好的泛化能力、训练多样的网络集合，以及明确忽略混淆的输入特征。由于后一种应用类型，对热图施加损失的范式通常称为 “为了正确的理由而正确”，我们通过将半监督分割作为新的使用案例来统一这两个研究方向。首先，我们展示了可微分热图架构和标准编码器 - 解码器架构之间的形式上的相似性，其次，我们证明这种可微分热图架构在使用标准分割损失函数进行训练时可以得到有竞争力的结果，第三，我们展示了这种架构可以利用以图像级标签和少量像素级标签的形式进行弱监督训练，优于可比较的编码器 - 解码器模型。代码可在 https://github.com/Kainmueller-Lab/TW-autoencoder 找到。

Jul, 2024