Jun, 2020

CART 稀疏学习

PDF
TL;DR本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。
decision treescart methodologytraining errorcost-complexity pruningprediction error
发现论文，激发创造
  • 最优随机分类树

    本文介绍一种新的决策树分类算法，该算法采用连续优化，每个决策节点采取随机决策，实现了较好的性能效果。

    Oct, 2021

  • 关于足够纯度减小条件下 CART 的收敛性

    决策树和 CART 在回归场景下的收敛速度研究，证明基于充分不纯度减少条件的 CART 预测误差上界，并提出了易于验证的条件使得该条件得以满足。

    Oct, 2023

  • 适应平滑性和稀疏性的贝叶斯回归树集成

    使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并在基准数据集上表现出良好的性能。

    Jul, 2017

  • TREE：树正则化用于高效执行

    通过奖励不均匀概率分布来减少决策树路径长度，优化决策树的内存架构感知实现以降低执行时间。

    Jun, 2024

  • 最优随机分类树中的稀疏性

    本文提出了一种连续优化方法来构建精简的最佳分类树，基于斜裁剪，并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性，证明了其对提高分类精度具有实用性。

    Feb, 2020

  • HHCART：一种斜切决策树

    本文介绍一种叫做 HHCART 的决策树算法，它利用 Householder matrices 反射训练数据来构建 oblique splits，从而实现数据分类，并且能够同时处理定性和定量特征。

    Apr, 2015

  • 提高分类树的精度

    提出了四种改善模型精度的技术，在真实和模拟数据集上与树集成等其他算法进行对比，以提高分类树中选择关键预测变量和识别有趣的子组的能力。

    Nov, 2010

  • 树形提升：梯度提升树桩和完整决策树之间的联系

    本文介绍了一种新的技术 —— 树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

    Nov, 2017

  • 决策树在最优稀疏恢复中的应用

    本文提出了一种使用单深度决策树实现线性回归特征选择问题的理论保证，扩展至非线性和任意亚高斯分布，证明了决策树具有良好的特征选择性能和在实践中成功的原因。

    Mar, 2023

  • NCART：用于表格数据的神经分类和回归树

    通过将决策树集成到神经网络的架构中，我们提出了一种新颖的可解释性神经网络，名为 NCART，以克服深度学习方法在大规模、高维数据集和小规模数据集方面的计算效率和解释性不足的问题。与传统的深度学习模型相比，NCART 架构简单，适用于各种规模的数据集，并降低了计算成本。大量的实验结果表明，NCART 与现有的深度学习模型相比，具有优越的性能，是决策树模型的强有力竞争对手。

    Jul, 2023