Feb, 2017

神经决策树

PDF
TL;DR提出了一种神经决策树 (NDT) 的建议架构，其将神经网络和决策树相融合，同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器，具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点，在有监督、半监督和无监督学习任务上的实验结果证明其优越性。
neural decision treesmultilayer perceptronhashing neural networkclusteringsupervised learning
发现论文，激发创造
  • 深度神经决策树

    本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

    Jun, 2018

  • NDT：面向全功能神经图的神经决策树

    通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题，并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度，最终提出了一种使用简化神经网络作为分支条件函数，复杂神经网络作为叶子输出的神经决策树模型，并经过大量实验证实该模型的有效性。

    Dec, 2017

  • 神经树综述

    本文综述了神经树 (NTs) 方法，以实现神经网络（NNs）和决策树（DTs）模型的有机融合，探讨了如何提高模型的可解释性，并提出了解决方案。

    Sep, 2022

  • DecisioNet：一种二叉树结构的神经网络

    本文提出了 DecisioNet（DN），一种二叉树结构的神经网络，用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明，DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。

    Jul, 2022

  • NBDT：神经支持决策树

    该论文介绍了一种新的机器学习模型 Neural-Backed Decision Trees，该模型结合了神经网络和决策树的优点，具有高准确性和可解释性，并在 CIFAR、ImageNet 等数据集上表现优异，同时提高了人类信任度和帮助了数据集调试。

    Apr, 2020

  • 神经网络蒸馏为软决策树

    使用训练好的深度神经网络创建软决策树的方法，可以更好地泛化，并解释快速分类决策的过程。

    Nov, 2017

  • 自适应神经树

    本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

    Jul, 2018

  • 神经网络控制器到决策树控制器的精确且具有成本效益的自动转换

    将基于神经网络的控制器转换为等效的软决策树控制器，以提高可验证性且减小意外行为的风险。在包含 ReLU 激活函数和 argmax 操作的离散输出 NN 控制器上，提出了一种自动剪枝的精确且高效的转换算法。以 OpenAI Gym 环境中的两个基准测试为例，结果表明 SDT 转换可以有助于形式验证，并显示其运行时在使用 MountainCar-v0 和 CartPole-v0 时分别提高了 21 倍和 2 倍。

    Apr, 2023

  • 多层梯度提升决策树

    提出了一种名为 mGBDTs 的多层 GBDT 森林算法，通过堆叠多层回归 GBDTs 作为其构建块，探索学习分层表示能力。该模型可以通过变体的跨层目标传播进行联合训练，无需反向传播或可微分性，并在性能和表示学习能力方面得到了证实。

    May, 2018

  • 朝向深度机器推理：基于原型的深度神经网络与决策树推理

    提出使用基于决策树的推理和合成数据来平衡分类，具有可完整解释且不需要使用 GPU 的 DMR 原型方法和网络架构，可以有效解决多类别问题中类别不平衡的问题，并在多个基准测试问题的测试中获得最佳表现和两个世界纪录。

    Feb, 2020