Mar, 2024

卷积神经网络通过决策树对特征图进行知识蒸馏

PDF
TL;DR通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。
发现论文，激发创造
  • 从 CNN 中提取可解释的基于概念的决策树

    该论文提出了一种从 CNN 隐藏层激活中推断标记的概念数据并通过浅层决策树解释这些概念的方法，这可以提供关于 CNN 模型认为重要的概念以及这些概念如何相互作用的信息，实验表明提取的决策树在树深度较低时能够准确地代表原始 CNN 的分类，从而有助于人们理解有区分力的概念。

    Jun, 2019

  • 知识蒸馏提高深度神经网络的可解释性

    使用知识蒸馏技术将深度神经网络转换成决策树，以同时实现较好的性能和可解释性，并比基准决策树模型获得显著更高的精度，在 TensorFlow 平台上实现对大数据集的可扩展性。

    Dec, 2018

  • 利用决策树解释卷积神经网络

    本文介绍了一种利用决策树定量解释预训练卷积神经网络的预测理由的方法，通过分解 CNN 高卷积层的特征表示为对象部件的基本概念的方式，使决策树告诉人们哪些对象部分激活了哪些滤波器以及它们对预测得分的贡献有多大。

    Feb, 2018

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 利用特征映射进行知识蒸馏的图像分类

    本文提出了一种名为 KDFM（含有特征映射的知识蒸馏）的方法，通过学习教师网络的功能映射来提高知识蒸馏的有效性，并在实验中得出使用 4 层 CNN 模仿 DenseNet-40 和使用 MobileNet 模仿 DenseNet-100，对于 CIFAR-100 数据集，学生网络与教师模型相比准确率损失小于 1％，并且学生网络的推理速度是教师模型的 2-6 倍，而 MobileNet 的模型大小小于 DenseNet-100 的一半。

    Dec, 2018

  • 神经网络蒸馏为软决策树

    使用训练好的深度神经网络创建软决策树的方法，可以更好地泛化，并解释快速分类决策的过程。

    Nov, 2017

  • 决策树作为卷积层的替代训练

    本篇研究提出了一种替代卷积神经网络（CNNs）中卷积层的另一种方法，将卷积简化为二进制决策，用于条件分布的索引，每个权重都代表决策树中的叶子。我们还展示了如何使用二进制决策代替卷积，通过公开数据证明这种新层表现良好，并显著提高了运行时间。

    May, 2019

  • 通过 CNN Tree 学习大规模分类的细粒度特征

    本文提出了一种新颖的方法来增强卷积神经网络（CNN）的可辨别性，通过建立一个树状结构来逐步学习精细的特征，以区分一部分类别。我们开发了一种新算法，有效地从大量类别中学习树结构。实验表明，我们的方法可以提高给定基本 CNN 模型的性能，且具有一般性，因此可以潜在地与许多其他深度学习模型结合使用。

    Nov, 2015

  • 使用非负概念激活向量和决策树进行基于概念的卷积神经网络模型解释

    本文通过基于概念提取的解释器训练决策树，以增加 CNN 模型的可解释性并提高解释器的保真度和性能。研究表明，Tree-ICE 在可解释性方面胜过基准，并生成更易读的模式解释。

    Nov, 2022

  • 卷积神经网络中的特征表示

    本文旨在深入探究 CNN 中的特征方面，发现 CNN 特征映射可用于随机森林和 SVM，以产生超越原始 CNN 的分类结果；使用较低层次的特征可以获得更好的分类结果。

    Jul, 2015