Apr, 2023

Concept-Monitor: 通过单个神经元理解深度神经网络训练

PDF
TL;DR通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法，我们提出了一个通用的框架，可以自动帮助我们了解黑箱 DNN 训练进程，并且对 DNN 培训过程进行可解释的可视化，还提出了一个新的训练正则化器，以激励隐藏神经元学习不同的概念，从而改善培训表现，并应用于敌对培训、微调和网络修剪等几个情景中。
发现论文，激发创造
  • 基于 LLM 的概念发现：自动识别和解释神经元功能

    利用多模态大型语言模型进行自动和无限的概念发现，既可以发现概念，又可以验证它们，为解释深度神经网络提供可信的自动化工具。

    Jun, 2024

  • 白盒神经网络概念框架

    该研究介绍了语义特征作为一种完全可解释的神经网络层的概念框架，并提出了一个证明概念模型，解决了 MNIST 相关子问题，该模型由 4 个这样的层组成，具有 4.8K 个可学习参数，模型易于解释，在没有任何形式的对抗训练的情况下，实现了与人类级别的对抗测试准确性，需要很少的超参数调整，并且可以在单个 CPU 上快速训练，该技术具有通用性，有望实现对完全可推广的白盒神经网络的范式转变。

    Mar, 2024

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021

  • 基于概念的全局神经元分析方法解释图神经网络

    本文通过研究图神经网络（GNNs）中个别神经元的行为，提出新的度量方法和全局解释方法，证明 GNN 神经元充当概念探测器，在逻辑组合的节点度和邻域属性的概念中具有良好的对齐性，将 GNNs 转换成易于理解的概念级别，提高模型的解释性和透明性，并通过实验证明了其优越性。

    Aug, 2022

  • 神经网络中的正式概念视图

    本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。

    Sep, 2022

  • 基于概念层的深度神经网络泛化解释

    从交互概念的角度解释深度神经网络的泛化能力，定义交互概念的复杂性，发现简单概念可以更好地推广到测试数据，研究发现学习复杂概念的绕道动态解释了复杂概念的高学习难度和低泛化能力。

    Feb, 2023

  • 概念嵌入分析：综述

    本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的 CA 定义和分类，总结了 30 多种相关方法和 15 个数据集，同时指出了未来研究方向和挑战。

    Mar, 2022

  • DeepTracker：卷积神经网络训练过程可视化

    该研究提出了一种基于 DeepTracker 的可视化分析系统，结合分层索引机制、分层小满足和立体立式可视化等，帮助专家探索 CNN 训练过程中的丰富动态，更好地理解其过程并加速训练。通过三个案例研究，证明了该系统在训练 ResNet-50 模型上具有重要作用。

    Aug, 2018

  • 一个自说明的神经架构用于可推广的概念学习

    利用自我解释的架构跨领域进行概念学习，提出新的概念显著网络、对比学习和基于原型的概念基准规范化方法来解决概念一致性和泛化能力的问题，并在四个实际数据集上展示了方法的有效性。

    May, 2024

  • 深度可视化理解神经网络

    该研究介绍了两个工具，用于可视化和解释深度卷积神经网络的计算过程，加速深度学习领域的发展。这些工具包括可视化神经网络在图像或视频处理过程中每一层产生的激活，并通过映射到图像空间进行的规则优化来可视化每一层的特征。

    Jun, 2015