AAAIMay, 2019

决策树作为卷积层的替代训练

PDF
TL;DR本篇研究提出了一种替代卷积神经网络（CNNs）中卷积层的另一种方法，将卷积简化为二进制决策，用于条件分布的索引，每个权重都代表决策树中的叶子。我们还展示了如何使用二进制决策代替卷积，通过公开数据证明这种新层表现良好，并显著提高了运行时间。
convolutional neural networksbinary decisionsdecision treesbackpropagation algorithmruntime improvement
发现论文，激发创造
  • 卷积神经网络通过决策树对特征图进行知识蒸馏

    通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

    Mar, 2024

  • 决策森林、卷积神经网络和中间模型

    通过融合决策森林和卷积神经网络，提出了一种新的、具有条件计算和表示学习的混合模型 —— 条件网络，并在图像分类任务上对其进行了实验验证，结果表明它的计算成本和参数数量比现有卷积神经网络降低了很多，但准确率并没有下降。

    Mar, 2016

  • 利用决策树解释卷积神经网络

    本文介绍了一种利用决策树定量解释预训练卷积神经网络的预测理由的方法，通过分解 CNN 高卷积层的特征表示为对象部件的基本概念的方式，使决策树告诉人们哪些对象部分激活了哪些滤波器以及它们对预测得分的贡献有多大。

    Feb, 2018

  • 深度卷积表：没有卷积的深度学习

    本文提出了一种新颖的深度网络形式，该形式不使用点乘神经元，而是依靠一系列投票表来加速基于 CPU 的推理，被称为卷积表（CT），该表在每个图像位置执行蕨操作：将位置环境编码为二进制索引，并使用索引从表中检索所需的局部输出，多个表的结果组合以获得最终输出。

    Apr, 2023

  • DecisioNet：一种二叉树结构的神经网络

    本文提出了 DecisioNet（DN），一种二叉树结构的神经网络，用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明，DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。

    Jul, 2022

  • 通过堆叠低维二进制卷积滤波器来压缩深度卷积神经网络

    本研究提出了一种新的模型压缩方法 —— 通过堆叠低维二进制卷积核来压缩深度卷积神经网络模型，从而实现比二进制 CNN 模型更高的压缩比，比现有方法维持相似精度。

    Oct, 2020

  • 从 CNN 中提取可解释的基于概念的决策树

    该论文提出了一种从 CNN 隐藏层激活中推断标记的概念数据并通过浅层决策树解释这些概念的方法，这可以提供关于 CNN 模型认为重要的概念以及这些概念如何相互作用的信息，实验表明提取的决策树在树深度较低时能够准确地代表原始 CNN 的分类，从而有助于人们理解有区分力的概念。

    Jun, 2019

  • 基于离散反向传播的 1 比特卷积神经网络的投影卷积模型

    本文提出了基于投影的卷积神经网络（PCNNs），使用离散的反向传播来提高二值神经网络（BNNs）的性能，并在 ImageNet 和 CIFAR 数据集上实现了比其他最先进的 BNNs 更好的分类性能。

    Nov, 2018

  • 神经网络蒸馏为软决策树

    使用训练好的深度神经网络创建软决策树的方法，可以更好地泛化，并解释快速分类决策的过程。

    Nov, 2017

  • 通过通信循环学习决策树

    本研究提出了一种不妥协预测准确性的情况下融合解释性的决策制定算法，通过学习迭代二进制子决策的方法，在决策过程中引入了稀疏性和透明度。该模型的关键点在于利用神经网络和消息传递的方式相互学习，来建立决策树，同时将语意意义通过二进制属性的形式赋给每个决策，使其对用户更加精练、语义化和相关。在三个基准图像分类数据集上，包括大规模 ImageNet 数据集，该模型生成了人类可解释的二进制决策序列，解释了网络的预测情况，同时保持了最先进的准确性。

    Feb, 2019