Sep, 2022

神经网络中的正式概念视图

PDF
TL;DR本研究介绍了两种神经网络的概念视图，即多值视图和符号视图，并通过在 ImageNet 和 Fruit-360 数据集上的实验测试了其概念表达能力。此外，论文还展示了这些视图可以量化不同学习架构之间的概念相似度，并演示了如何将概念视图应用于从神经元中归纳学习人类可理解的规则，从而为全局解释神经网络模型做出贡献。
neural network modelsmany-valued viewsymbolic viewconceptual expressivityabductive learning
发现论文，激发创造
  • 从神经激活到概念：关于解释神经网络中的概念的调查

    综述了最近的方法来解释神经网络中的概念，强调了将学习和推理结合起来的重要性，并探讨了将概念知识插入神经网络架构的可能性，为实现基于可解释概念的神经符号人工智能迈出重要一步。

    Oct, 2023

  • 将知识表征映射到概念：回顾与新视角

    该研究审查了通过提出分类法来将人类可理解的概念与神经网络中的内部表示相对应的研究，并发现了与模型可解释性目标有关的文学研究中的歧义，即是理解机器学习模型还是在部署领域有用的可行解释。

    Dec, 2022

  • 神经网络概念的单元测试

    本研究提出了关于符号概念的理论，并使用一个简单的视觉概念学习任务来评估多个现代神经结构与该理论的一致程度，发现这些模型可以成功通过测验，但在因果关系方面仍然存在重要的问题。

    Jul, 2022

  • 神经网络的以人为本的概念解释

    该研究论文介绍了基于概念的解释，比如概念激活向量可以有效地描述概念，并讨论了自动提取概念的方法，展示了它们在真实世界应用中的效用。

    Feb, 2022

  • 深度神经网络推理方法的一种解释 —— 结构化视觉概念

    本文提出了一个基于结构化视觉概念的框架（VRX），以解释分类神经网络的推理过程，并提供模型决策的逻辑和概念层次的解释，旨在弥补黑盒神经网络缺乏可解释性和透明性的缺陷。通过广泛的实验，研究表明 VRX 可以有效地回答关于预测的 “为什么” 和 “为什么不” 的问题，提供易于理解的洞察，同时还可以提供改善神经网络性能的指导意见。

    May, 2021

  • 白盒神经网络概念框架

    该研究介绍了语义特征作为一种完全可解释的神经网络层的概念框架，并提出了一个证明概念模型，解决了 MNIST 相关子问题，该模型由 4 个这样的层组成，具有 4.8K 个可学习参数，模型易于解释，在没有任何形式的对抗训练的情况下，实现了与人类级别的对抗测试准确性，需要很少的超参数调整，并且可以在单个 CPU 上快速训练，该技术具有通用性，有望实现对完全可推广的白盒神经网络的范式转变。

    Mar, 2024

  • 使用大型模型对深度视觉神经元进行自动化自然语言解释

    通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

    Oct, 2023

  • 基于熵的神经网络逻辑解释

    该论文提出了一种基于熵的标准及一种新的端到端可微分的方法，用于从概念神经网络中提取逻辑解释，该方法使用一阶逻辑的形式化定义，并考虑了四个案例研究来证明这种熵基准能够从临床数据到计算机视觉中，在安全关键领域中提取简洁的逻辑解释。

    Jun, 2021

  • Concept-Monitor: 通过单个神经元理解深度神经网络训练

    通过一个称为 Concept-Monitor 的框架以及一个新的统一的嵌入空间和概念多样性度量方法，我们提出了一个通用的框架，可以自动帮助我们了解黑箱 DNN 训练进程，并且对 DNN 培训过程进行可解释的可视化，还提出了一个新的训练正则化器，以激励隐藏神经元学习不同的概念，从而改善培训表现，并应用于敌对培训、微调和网络修剪等几个情景中。

    Apr, 2023

  • 通过引导概念学习实现可理解的卷积神经网络

    该论文提出了一种带有附加概念层的 CNN 架构的引导学习方法，用于学习视觉特征和单词短语之间的关联，并通过优化预测准确性和特征表示的语义来学习与人类感知一致的概念，实验结果表明，所提出的模型可以在不牺牲准确性的情况下学习一致于人类感知的概念，并可将这些学习到的概念转移到具有相似概念的新对象类别中。

    Jan, 2021