通过提取类别特定子网络实现神经网络的可解释化解缠

ICCVOct, 2019

通过提取类别特定子网络实现神经网络的可解释化解缠

Interpretable Disentanglement of Neural Networks by Extracting Class-Specific Subnetwork

Yulong Wang, Xiaolin Hu, Hang Su

TL;DR本文提出了一种理解深度神经网络的新视角，通过提取类特定的功能子网络来实现可解释的解缠结形式，并将其应用于视觉解释和对抗性示例检测任务中。实验证明，这种直观的操作可以有效地提高基于梯度的解释方法的解释显著性准确性，并增加基于置信度分数的对抗性示例检测方法的检测率。

Abstract

We propose a novel perspective to understand deep neural networks in an interpretable disentanglement form. For each semantic class, we extract a class-specific functional subnetwork from the original full model,

deep neural networks interpretable disentanglement functional subnetworks visual explanation adversarial example detection

发现论文，激发创造

通过对比子图解释的脑网络分类

本文介绍了一种用于分类脑网络的新方法：通过提取对比子图来建立简单而可解释的模型，该方法在分类准确度上表现优异，并在分析自闭症谱系障碍儿童和正常儿童的脑网络数据集时发现了与神经科学文献中的背景知识相符的有趣模式。

Jun, 2020

网络解剖：量化深度视觉表示的可解释性

本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。

Apr, 2017

可解释方法中的婴儿大脑注意力方式

该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法，用于在高维数据中实现精细的可解释性，例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取，以实现可解释的预测和分类结果。

Jan, 2023

通过独立子空间学习分离的表示

本论文提出了一种利用神经网络学习解开图像可控制性表示从而允许局部图像操作的方法，能够直接转移面部特定区域如眼睛、头发和嘴巴等部分的形状和颜色，而其他部位不变，通过使用定位的 ResNet 自编码器和几个损失函数进行训练，利用 CelebA 数据集检验了该方法的良好效果。

Aug, 2019

通过网络剖析解释深度视觉表示

本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

Nov, 2017

深度学习的可视化可解释性调查

本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

Feb, 2018

深度神经网络中个体单元的作用理解

本文介绍了一个分析框架 —— 网络分解，通过该框架系统地识别图像分类和图像生成网络中单个隐藏单元的语义，作者使用该框架分析卷积神经网络和生成对抗网络模型并应用于理解对抗攻击和语义图像编辑。

Sep, 2020

发现：通过竞争和分解使视觉网络可解释

这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层，提出了一种框架，以更容易地发现视觉任务网络中每个神经元的个体功能，并生成描述性文本以解释网络的决策过程。

Oct, 2023

视觉电路的自动发现

基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

Apr, 2024

学习自然语言定义的解耦表示

使用可表征语法和语义规律的定义句类别训练变分自编码器，并在多个测试中展现其成功解耦表示效果，以及在定义建模中得到的改善。

Sep, 2022