CVPRApr, 2017

网络解剖：量化深度视觉表示的可解释性

PDF
TL;DR本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。
network dissectioncnnlatent representationsinterpretabilitytraining methods
发现论文，激发创造
  • 通过网络剖析解释深度视觉表示

    本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

    Nov, 2017

  • 深度学习的可视化可解释性调查

    本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

    Feb, 2018

  • 深度神经网络中个体单元的作用理解

    本文介绍了一个分析框架 —— 网络分解，通过该框架系统地识别图像分类和图像生成网络中单个隐藏单元的语义，作者使用该框架分析卷积神经网络和生成对抗网络模型并应用于理解对抗攻击和语义图像编辑。

    Sep, 2020

  • 发现：通过竞争和分解使视觉网络可解释

    这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层，提出了一种框架，以更容易地发现视觉任务网络中每个神经元的个体功能，并生成描述性文本以解释网络的决策过程。

    Oct, 2023

  • 一种可逆的解缠结表示网络，用于解释潜在表示

    提出了可逆解释网络，可以透明地应用于现有的神经网络架构，将原始表示转换为等效但可解释的表示，并通过仅草绘两个图像和无监督策略定义语义概念，以解释图像生成网络的分类和生成。

    Apr, 2020

  • 表征学习中视觉概念的可学习性和可描述性的量化

    通过评估人类注释者作为分类器，本研究提出了视觉可学性和可描述性两个概念，用于量化任意图像分组（包括无监督分组）的可解释性，并提出了一种类别级别的字幕生成系统来自动生成对视觉分组的描述，并使用可描述性度量将其与人类注释者进行比较。

    Oct, 2020

  • 卷积神经网络的量化语义比较

    本篇论文提出两种方法来量化 CNN 潜在空间中语义信息的相似度，以解决模型透明性问题。通过将这些方法应用于三种不同的目标检测器和两个数据集，我们的研究表明相似的语义概念是在所有 CNN 体系结构中学习的，且相似的概念出现在相似的相对层深度中，而与总层数无关。该研究成果有望实现 CNN 模型选择的知情和语义信息处理的理解。

    Apr, 2023

  • 卷积神经网络如何看待世界 - 卷积神经网络可视化方法综述

    本文综述了通过 Activation Maximization、Network Inversion、Deconvolutional Neural Networks (DeconvNet) 以及 Network Dissection 等可视化手段实现 CNN 可解释性的方法，并探讨了这些方法在网络设计、优化和安全增强等领域中的实际应用价值。

    Apr, 2018

  • 深度卷积神经网络分析的改进

    本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

    Apr, 2016

  • 卷积神经网络上的代表性解释发现

    本文提出一种基于无监督学习的方法来解释大量相似图像中深度卷积神经网络的决策逻辑，并将代表性解释问题转化为一种共聚类问题，并基于线性决策边界的样本将其转化为子模代价覆盖问题。我们还提供了可视化和相似性排序方法，广泛的实验证明了本方法的优秀表现。

    Aug, 2021