用概念显著性图像可视化深度生成模型中相关特征

ICMLOct, 2019

用概念显著性图像可视化深度生成模型中相关特征

Concept Saliency Maps to Visualize Relevant Features in Deep Generative Models

Lennart Brocki, Neo Christopher Chung

TL;DR提出了一种新的方法来获得生成模型中已知或新的高级概念的显著性图，即概念显著性图，对于深度学习中的潜在变量模型提高了解释性。该方法被应用于 CelebA 数据集的 VAE 潜在空间中和小鼠嗅球的空间转录组数据中，证明了其在高级概念的解释和复杂生物系统理解中的潜力。

Abstract

Evaluating, explaining, and visualizing high-level concepts in generative models, such as variational autoencoders (VAEs), is challenging in part due to a lack of known prediction classes that are required to generate saliency maps in supervised learning. While saliency maps may help identify relevant features (e.g., pixels) in the input for classification t

generative models concept saliency maps unsupervised learning latent representations interpretability

发现论文，激发创造

通过潜在空间分解揭示独特的概念向量

该论文提出一种后期无监督方法，通过分解和聚类方法，自动发现深度学习模型中的概念向量，从而支持可解释性分析，可以成功鉴别与疏离数据有关的训练样本

Jul, 2023

重新思考解释：深度视觉分类器的输入无关性显著性映射

本文提出了一种新的输入无关的显著性地图方法，它从计算上估计模型对其输出所归属的高级特征并通过可解释的可视化展示，以更加准确和公正地解释模型的行为，同时在大规模模型中成功应用，并且通过识别受损分类器中的后门签名，展示了这种新形式显著性映射的另一个有趣的用途。

Mar, 2023

GAN 潜空间的视觉概念词汇

本文介绍了一种新的方法，针对生成对抗网络（GAN）中的潜在空间建立无限制的基元视觉概念词汇表，该方法通过三个组件实现：(1) 基于层选择自动识别知觉显著方向；(2) 人工注释这些方向以自由形式的组成自然语言描述，以及 (3) 将这些注释分解为视觉概念词汇表，由单词标记的精简方向组成。实验表明，使用我们的方法学习的概念是可靠和可组合的 - 概念可以跨越类别、上下文和观察者进行概括，并且可以实现对图像风格和内容的精细操作。

Oct, 2021

强韧的语义可解释性：重新审视概念激活向量

该研究提出了一种基于 Robust Concept Activation Vectors 的诠释方法，用于评估图像分类模型的可靠性和模型是否存在系统偏差。该方法关注语义概念，如纹理、颜色和性别等，通过梯度上升来评估模型对给定概念的敏感性，并构建了两个基准数据集来评估本方法的实际可用性和科学用途。

Apr, 2021

探索可变自编码器的可视化解释

本文提出了一种基于梯度的注意力机制技术，用于解释变分自编码器（VAE）及其预测，该技术通过生成学习到的潜在空间的视觉注意力，可用于图像中异常的定位，并能融入模型训练来帮助改善潜在空间分解，这在 MVTec-AD 和 Dsprites 数据集上表现出了最先进的性能。

Nov, 2019

概念 VAE

本篇论文提出了一种基于变分自动编码器框架的概念模型，其设计旨在具有诸如分解的概念域等吸引人的属性，同时可以从数据中进行学习；该模型被称为 “概念 VAE”，能够从简单的彩色形状图像及其对应的概念标签中学习可解释的概念表示，并可用作概念分类器。同时，将该模型从标签少的实例中进行学习来进行适应，最后用高斯分布统计方法对模型进行形式化建模，并与 Gardenfors 的概念空间理论相关联。

Mar, 2022

基于多尺度深度特征的视觉显著性

本文介绍了使用卷积神经网络进行图像视觉显著性建模的方法，采用新的神经网络结构和改进的空间相关性方法，同时使用多重分割提高了性能，实验表明我们提出的方法在公共基准测试中的表现优于目前已发表的最先进技术。

Mar, 2015

利用自组织映射在神经网络中寻找概念表示

神经网络学习过程中，通过自组织映射可以视觉和计算地检测神经网络各层激活向量与抽象概念之间的对应关系，并且相对熵可以用作一种合适的方法来识别和定位概念的神经表示，实现概念的可视化并理解其在解决预测任务中的重要性。

Dec, 2023

深度显著性模型对视觉注意力的学习

通过分解隐含特征为可解释的基底，提出了一种新的分析框架，用于研究深度显著性模型成功背后的隐含特征、显著性预测的原理以及其对不同应用场景中的视觉注意力的影响。

Oct, 2023

理解概念激活向量：解释可解释性

使用概念解释将深度学习模型的内部表示转化为人类熟悉的语言，最近的解释性方法提议采用基于概念的解释。本文研究了 Concept Activation Vectors (CAVs) 的三个性质，它们可能在不同层次之间存在不一致性，与不同概念纠缠在一起，并具有空间依赖性，这些性质为解释模型提供了挑战和机会。同时，我们还介绍了工具来检测这些性质的存在，并提供洞见以了解它们对解释的影响，并提出减小它们影响的建议。通过理解这些性质，我们可以利用它们的优势。例如，我们引入了具有空间依赖性的 CAVs 来测试模型在特定概念和类别上是否具有平移不变性。我们在 ImageNet 和一个新的合成数据集 Elements 上进行实验。Elements 旨在捕捉概念与类别之间已知的真实关系。我们发布此数据集以促进对解释性方法的进一步研究和评估。

Apr, 2024