Jul, 2023

NCART：用于表格数据的神经分类和回归树

PDF
TL;DR通过将决策树集成到神经网络的架构中，我们提出了一种新颖的可解释性神经网络，名为 NCART，以克服深度学习方法在大规模、高维数据集和小规模数据集方面的计算效率和解释性不足的问题。与传统的深度学习模型相比，NCART 架构简单，适用于各种规模的数据集，并降低了计算成本。大量的实验结果表明，NCART 与现有的深度学习模型相比，具有优越的性能，是决策树模型的强有力竞争对手。
deep learning modelstabular datacomputational costsinterpretable neural networkdecision trees
发现论文，激发创造
  • 深度神经决策树

    本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

    Jun, 2018

  • CARTE：表格学习的预训练与迁移

    预定深度学习模型、表格数据、数据集成、神经网络架构、CARTE 等是该论文的关键词，并且 CARTE 是可用于表格数据的大型预训练模型的一种神经网络架构。

    Feb, 2024

  • 最优随机分类树

    本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

    Oct, 2021

  • 表格数据：关注力是您所需的全部吗？

    通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

    Feb, 2024

  • 神经树综述

    本文综述了神经树 (NTs) 方法，以实现神经网络（NNs）和决策树（DTs）模型的有机融合，探讨了如何提高模型的可解释性，并提出了解决方案。

    Sep, 2022

  • 树状模型在表格数据上为何仍然优于深度学习？

    通过与传统树模型如 XGBoost 和随机森林的对比，研究发现，对于中等大小数据集（约 10K 个样本），树模型仍然是当前在表格数据上的最佳选择；研究还提出了神经网络在表格数据上建模的若干挑战，并为后续研究提供基准测试数据和计算资源。

    Jul, 2022

  • TabNet: 关注可解释的表格学习

    本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

    Aug, 2019

  • CART 稀疏学习

    本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

    Jun, 2020

  • 区域树正则化用于黑盒模型的可解释性

    本文介绍了一种名为 “地区树规则化” 的方法，它可以在维持准确率的同时让神经网络更具有可解释性，该方法通过预先定义输入空间中特定区域所需的决策逻辑，鼓励深层模型分别被数个分离的决策树所逼近，本方法在多个数据集上都比只训练每个区域的决策树更能提高准确预测，同时比其他神经网络规则化方案更简单，并不会破坏预测能力；两个医疗案例证明了本方法可以通过对神经网络的审查来提高理解。

    Aug, 2019

  • 自适应神经树

    本文提出了一种自适应神经决策树算法，该算法将表示学习技术嵌入决策树的边缘、路由函数和叶节点中，并采用基于反向传播的训练算法自适应扩展架构，实现了基于条件计算的轻量级推理、层次化特征分离以及适应训练数据集规模和复杂度的机制。

    Jul, 2018