ICMLJun, 2018

深度神经决策树

PDF
TL;DR本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。
deep neural decision treestabular datainterpretabilityneural networksself-pruning
发现论文，激发创造
  • 神经树综述

    本文综述了神经树 (NTs) 方法，以实现神经网络（NNs）和决策树（DTs）模型的有机融合，探讨了如何提高模型的可解释性，并提出了解决方案。

    Sep, 2022

  • 神经决策树

    提出了一种神经决策树 (NDT) 的建议架构，其将神经网络和决策树相融合，同时使用哈希神经网络 (HNN) 作为最后一层的非线性分类器，具有比标准 softmax MLP 更高的建模能力和更易于全局优化的特点，在有监督、半监督和无监督学习任务上的实验结果证明其优越性。

    Feb, 2017

  • NBDT：神经支持决策树

    该论文介绍了一种新的机器学习模型 Neural-Backed Decision Trees，该模型结合了神经网络和决策树的优点，具有高准确性和可解释性，并在 CIFAR、ImageNet 等数据集上表现优异，同时提高了人类信任度和帮助了数据集调试。

    Apr, 2020

  • DecisioNet：一种二叉树结构的神经网络

    本文提出了 DecisioNet（DN），一种二叉树结构的神经网络，用于将现有 DNN 模型转换为轻量级模型以实现计算效率优化。评估表明，DN 变体在减少计算成本的同时达到了与原始网络类似的准确性。

    Jul, 2022

  • NCART：用于表格数据的神经分类和回归树

    通过将决策树集成到神经网络的架构中，我们提出了一种新颖的可解释性神经网络，名为 NCART，以克服深度学习方法在大规模、高维数据集和小规模数据集方面的计算效率和解释性不足的问题。与传统的深度学习模型相比，NCART 架构简单，适用于各种规模的数据集，并降低了计算成本。大量的实验结果表明，NCART 与现有的深度学习模型相比，具有优越的性能，是决策树模型的强有力竞争对手。

    Jul, 2023

  • 表格数据：关注力是您所需的全部吗？

    通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

    Feb, 2024

  • 神经网络蒸馏为软决策树

    使用训练好的深度神经网络创建软决策树的方法，可以更好地泛化，并解释快速分类决策的过程。

    Nov, 2017

  • 用于表格数据深度学习的神经无意识决策集合

    本文提出了一种新的深度学习架构 Neural Oblivious Decision Ensembles（NODE）用于处理表格数据，并且与目前主要的 GBDT 方案相比，在大量的数据集上展示了超越竞争方案的表现。

    Sep, 2019

  • NDT：面向全功能神经图的神经决策树

    通过提出的神经图结构来解决在分支条件中只出现变量无法特别更新的问题，并利用 Dirac 符号和连续函数来近似计算条件特定变量的梯度，最终提出了一种使用简化神经网络作为分支条件函数，复杂神经网络作为叶子输出的神经决策树模型，并经过大量实验证实该模型的有效性。

    Dec, 2017

  • 自适应神经树

    本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

    Jul, 2018