视觉概念连接图 (VCC): 深度模型中的开放世界概念发现与它们的层间连接

CVPRApr, 2024

视觉概念连接图 (VCC): 深度模型中的开放世界概念发现与它们的层间连接

Visual Concept Connectome (VCC): Open World Concept Discovery and their Interlayer Connections in Deep Models

Matthew Kowal, Richard P. Wildes, Konstantinos G. Derpanis

TL;DR理解深度网络模型在其学习到的表示中捕捉到的内容是计算机视觉中的一个基本挑战。我们提出了一种新的方法来理解这样的视觉模型，即视觉概念连接图（VCC），它以完全无监督的方式发现人类可解释的概念及其在不同层之间的连接。我们的方法同时揭示了网络结构的细粒度概念、所有层之间的连接权重，并且适用于网络结构的全局分析（例如，分层概念组件的分支模式）。此前的工作揭示了如何从单个层提取可解释的概念并检查它们对分类的影响，但未提供在整个网络架构上进行多层概念分析的方法。定量和定性的实证结果显示了 VCC 在图像分类领域的有效性。此外，我们利用 VCC 来进行故障模式调试，以揭示深度网络中错误产生的位置。

Abstract

Understanding what deep network models capture in their learned representations is a fundamental challenge in computer vision. We present a new methodology to understanding such vision models, the visual concept connect

deep network models visual concept connectome unsupervised interpretable concepts failure mode debugging

发现论文，激发创造

视觉电路的自动发现

基于视觉概念的神经元激活依赖和功能连接，我们提出了一种新的方法来提取深度视觉模型计算图的子图，从而防御大规模预训练模型的对抗攻击。

Apr, 2024

通过引导概念学习实现可理解的卷积神经网络

该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

Jan, 2021

深度神经网络推理方法的一种解释 —— 结构化视觉概念

本文提出了一个基于结构化视觉概念的框架（VRX），以解释分类神经网络的推理过程，并提供模型决策的逻辑和概念层次的解释，旨在弥补黑盒神经网络缺乏可解释性和透明性的缺陷。通过广泛的实验，研究表明 VRX 可以有效地回答关于预测的 “为什么” 和 “为什么不” 的问题，提供易于理解的洞察，同时还可以提供改善神经网络性能的指导意见。

May, 2021

神经网络中的正式概念视图

本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

Sep, 2022

视觉概念与组合投票

本文着眼于深度神经网络内部表示的研究，并使用聚类算法提取了一组视觉概念，展示了这些概念可以用于语义部分检测的无监督方法，并将这些视觉概念组合成了一种简单的模式理论模型，名为 “构成投票”，相较于专门针对语义部分检测的支持向量机和深度网络，证明了这种方法的效果更好。

Nov, 2017

网络解剖：量化深度视觉表示的可解释性

本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。

Apr, 2017

AlignedCut：脑引导的通用特征空间上的视觉概念发现

使用大脑 fMRI 响应预测作为训练目标，我们研究了视觉数据、深度网络和大脑之间的有趣联系，发现通过不同目标训练的深度网络共享通用的特征通道，将这些通道聚类成不同的大脑区域，产生语义相关的物体片段，同时通过通道聚类发现了不同网络层级处理视觉信息的过程，从而实现了网络之间的精确比较。

Jun, 2024

利用大规模神经影像数据集创建连接组约束方法，以实现更加稳健、高效和适应性人工智能

利用大型神经成像数据集中的连接性图谱等手段，改善边缘端机器学习的效率和鲁棒性，并通过对果蝇和哺乳动物视脑回路连接等领域的分析，展示了多种潜在的应用脑科学领域洞见的方法。

May, 2023

SegDiscover：基于无监督语义分割的视觉概念发现

SegDiscover 是一个无人监督语义分割框架，通过从原始图像生成概念原语、在自监督预训练编码器的潜在空间中进行聚类以及神经网络平滑来发现语义上有意义的视觉概念。实验结果表明，该方法可以在单个图像中发现多个概念，并在包括 Cityscapes 和 COCO-Stuff 等复杂数据集上优于最先进的无监督方法。此方法还可以作为神经网络解释工具使用，通过比较不同编码器得出结果。

Apr, 2022

基于图像复杂性的 fMRI-BOLD 视觉网络分类方法：在视觉数据集上使用拓扑描述符和深度混合学习

该研究提出了一种新的方法，研究使用与 COCO、ImageNet 和 SUN 等视觉数据集对应的 fMRI BOLD 时间序列构建的视觉网络的拓扑特征差异。通过计算每个视觉网络代表 COCO、ImageNet 和 SUN 的 0 维和 1 维持续图，并提取拓扑持久图的适当特征，进行 K-means 聚类。将提取的 K-means 聚类特征输入到一种新的深度混合模型，对这些视觉网络进行分类，可达到 90% 至 95% 的准确率。这种对不同视觉数据集进行视觉网络分类的研究对于理解视觉很重要，因为它捕捉到了在感知具有不同上下文和复杂性的图像时 BOLD 信号的差异。此外，该研究揭示了与每个数据集相关的视觉网络的独特拓扑模式，这可能为诊断视觉失认症或面孔失认症等视觉处理障碍，并跟踪视觉认知变化的发展未来的神经影像生物标记物的发展提供了潜在的线索。

Nov, 2023