MMJul, 2022

DecisioNet：一种二叉树结构的神经网络

PDF
TL;DR本文提出了 DecisioNet（DN），一种二叉树结构的神经网络，用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明，DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。
发现论文，激发创造
  • 深度神经决策树

    本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

    Jun, 2018

  • 神经决策树

    提出了一种神经决策树 (NDT) 的建议架构，其将神经网络和决策树相融合，同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器，具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点，在有监督、半监督和无监督学习任务上的实验结果证明其优越性。

    Feb, 2017

  • 神经网络蒸馏为软决策树

    使用训练好的深度神经网络创建软决策树的方法，可以更好地泛化，并解释快速分类决策的过程。

    Nov, 2017

  • 朝向深度机器推理：基于原型的深度神经网络与决策树推理

    提出使用基于决策树的推理和合成数据来平衡分类，具有可完整解释且不需要使用 GPU 的 DMR 原型方法和网络架构，可以有效解决多类别问题中类别不平衡的问题，并在多个基准测试问题的测试中获得最佳表现和两个世界纪录。

    Feb, 2020

  • 神经树综述

    本文综述了神经树 (NTs) 方法，以实现神经网络（NNs）和决策树（DTs）模型的有机融合，探讨了如何提高模型的可解释性，并提出了解决方案。

    Sep, 2022

  • 决策森林、卷积神经网络和中间模型

    通过融合决策森林和卷积神经网络，提出了一种新的、具有条件计算和表示学习的混合模型 —— 条件网络，并在图像分类任务上对其进行了实验验证，结果表明它的计算成本和参数数量比现有卷积神经网络降低了很多，但准确率并没有下降。

    Mar, 2016

  • 卷积神经网络通过决策树对特征图进行知识蒸馏

    通过提取卷积神经网络的最终层中的特征并使用决策树进行训练，我们提出了一种蒸馏方法来解释深度神经网络的推理，展示了决策树在解释卷积神经网络决策时的表现与最小复杂度的卷积神经网络相当好。

    Mar, 2024

  • 自适应神经树

    本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

    Jul, 2018

  • 神经网络控制器到决策树控制器的精确且具有成本效益的自动转换

    将基于神经网络的控制器转换为等效的软决策树控制器，以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上，提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两个基准测试为例，结果表明 SDT 转换可以有助于形式验证，并显示其运行时在使用 MountainCar-v0 和 CartPole-v0 时分别提高了 21 倍和 2 倍。

    Apr, 2023

  • NBDT：神经支持决策树

    该论文介绍了一种新的机器学习模型 Neural-Backed Decision Trees，该模型结合了神经网络和决策树的优点，具有高准确性和可解释性，并在 CIFAR、ImageNet 等数据集上表现优异，同时提高了人类信任度和帮助了数据集调试。

    Apr, 2020