CVPRMar, 2022

神经网络中的可解释性部分 - 整体层次结构和概念 - 语义关系

PDF
TL;DR本文介绍了一种名为 Agglomerator 的框架，它可以通过视觉线索提供部分 - 整体层次结构的表示，并组织与类别之间的概念语义层次结构相匹配的输入分布，从而提高神经网络的可解释性。作者在 SmallNORB、MNIST、FashionMNIST、CIFAR-10 和 CIFAR-100 等常见数据集上进行了评估，并提供了比其他最先进方法更易解释的模型。
deep neural networksinterpretabilityagglomeratorpart-whole hierarchiesvisual cues
发现论文，激发创造
  • 层次语义树概念白化用于可解释的图像分类

    通过在深度模型中主动注入知识，使用语义概念的层次树规范化图像数据实例的表达方式，提高模型可解释性，改善语义概念的分离，并不会对模型的分类性能产生负面影响。

    Jul, 2023

  • 神经网络预测的分层解释

    引入聚合上下文分解的方法来解释 DNN 预测结果。该方法通过产生输入特征的层次聚类以及每个聚类对于最终预测的贡献，实现了对 DNN 的预测结果进行解释，有效诊断不正确的预测和识别数据集的偏倚。同时人体实验也表明，ACD 能够使用户较好地识别两个 DNN 中更准确的那一个，并更加信任 DNN 的输出。

    Jun, 2018

  • 人工神经网络可解释性调研

    该论文系统地回顾了近期研究的理解神经网络机理、解释深度学习应用特别是在医疗领域方面以及讨论了解释性研究的未来方向，如与模糊逻辑和脑科学的关系。

    Jan, 2020

  • 神经网络可解释性调查

    本文综述了神经网络的可解释性研究，详细阐述了可解释性的定义、重要性、以及基于不同维度的新颖分类方法（如主动 / 被动解释方法、从局部到全局的解释等）。最后还总结了当前可解释性评估方法，并提出了新的研究方向。

    Dec, 2020

  • 深度学习的可视化可解释性调查

    本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

    Feb, 2018

  • 通过分层模块化表示解释分层神经网络

    提出了一种获得分层神经网络的分层模块化表示的方法，该方法使用层次聚类方法将训练网络应用于 Feature Vectors，以便根据它们与输入和输出维度值的相关性定义隐藏层单元之间的树状关系。

    Oct, 2018

  • 利用对抗样本实现可解释的深度神经网络

    本研究旨在通过减少神经元的不确定性，提高 DNNs 在整个图像空间的可解释性。通过提出一个新的度量方式、利用对抗样本发现学习后的神经元特征具有歧义性，以及通过一种有着一致性损失的对抗训练算法来提高对抗样本子集上的神经元的一致性

    Jan, 2019

  • 如何在神经网络中表示部分 - 整体层次结构

    本文提出一种表示方法，使用 GLOM 虚拟系统将多个研究领域的进展结合，包括变压器、神经场、对比表示学习、蒸馏和胶囊。GLOM 的想法是使用相同向量的端点表示解析树中的节点，从而在图像中生成不同结构的 part-whole 层次结构，可显著提高变压器系统在视觉或语言处理中产生的表征的可解释性。

    Feb, 2021

  • 使用大型模型对深度视觉神经元进行自动化自然语言解释

    通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

    Oct, 2023

  • 利用语义信息提高深度神经网络的可解释性

    本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

    Mar, 2017