Dec, 2023

单变量和多变量决策树的相关性和非预期偏差

PDF
TL;DR决策树是可访问、可解释且性能良好的分类模型。在过去的四十年里，已提出了众多表达能力不断增强的变体。我们对两类一元决策树和多元决策树进行对比，一元决策树通过轴平行超平面对数据进行分区，而多元决策树通过斜超平面对数据进行分区。后者包括前者，因此多元决策树原则上更强大。然而，出乎意料的是，一元决策树在文献中始终展现出相当的性能。我们通过合成和真实世界的基准数据集分析了其原因。我们的研究问题试图测试在数据集中去除特征间相关性的预处理阶段是否对一元决策树和多元决策树的相对性能产生影响。我们发现现有的基准数据集很可能存在偏向一元决策树的问题。
decision treesunivariate dtsmultivariate dtssplit functionsbenchmark datasets
发现论文，激发创造
  • 学习非歧视性决策树的最优和公平决策

    本文提出了一个多功能的混合整数优化框架，用于学习最优和公平的决策树和其变体，避免不公平对待和 / 或不公平影响。计算结果表明，这个框架提高了领域内的技术水平，能以更低的成本提高准确性，从而产生非歧视性的决策。

    Mar, 2019

  • CART 稀疏学习

    本文研究了 CART 方法构建的回归树的统计特性，发现训练误差由每个节点中的最优决策树与响应数据的 Pearson 相关性控制，并通过构建先验分布和解决非线性优化问题来限制其范围，利用训练误差和 Pearson 相关性之间的联系来展示当深度随样本大小的对数尺度变化时，使用 cost-complexity pruning 的 CART 方法可以实现最佳复杂度 / 拟合度权衡，同时，数据相关量可以适应回归模型的维度和潜在结构，控制预测误差的收敛速度。

    Jun, 2020

  • 基于输出限制的决策树

    这篇论文介绍了可以处理多目标输出和目标之间约束的新决策树变体，通过调整划分准则来处理约束并得到可行的预测，包括基于优化的精确方法和几种启发式方法，并进行了计算实验以证明和比较所提方法的结果。

    May, 2024

  • 提高分类树的精度

    提出了四种改善模型精度的技术，在真实和模拟数据集上与树集成等其他算法进行对比，以提高分类树中选择关键预测变量和识别有趣的子组的能力。

    Nov, 2010

  • 通用和可扩展的最优稀疏决策树

    通过提出一种决策树优化框架，解决了当前领域中两个开放性问题：不平衡数据处理和连续变量完全优化。此外，我们还介绍了一种可扩展的算法，可以在存在连续变量的情况下产生可证明的最优结果，并相对于现有技术将决策树构建速度提高了数个数量级。

    Jun, 2020

  • 深度神经决策树

    本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

    Jun, 2018

  • 基于整数规划的最优广义决策树

    本文提出了一种混合整数规划的方法来构建特定大小的最优决策树，采用特殊结构的分类特征，考虑每个节点上基于特征子集的组合决策，并通过阈值处理处理数值特征，证明了在中等规模的训练集下，采用小型决策树可获得很高的准确率，我们使用现代求解器解决所提出的优化问题。

    Dec, 2016

  • 局部去相关以提升检测性能

    该研究提出了一种有效的特征转换方法，该方法可以在计算成本的大幅降低的情况下，优于原始特征进行施工的正交决策树，并可用于快速坚硬物体检测。在 Caltech 行人数据集上的结果显示，该方法有效减少了假阳性，显著提高了检测精度。

    Jun, 2014

  • HHCART：一种斜切决策树

    本文介绍一种叫做 HHCART 的决策树算法，它利用 Householder matrices 反射训练数据来构建 oblique splits，从而实现数据分类，并且能够同时处理定性和定量特征。

    Apr, 2015

  • 最优稀疏决策树

    这篇论文介绍了第一种针对二进制变量进行最佳决策树生成的实用算法，该算法结合了分析界限和数据结构等现代技术，在可扩展性、速度和最优性方面具有明显优势。

    Apr, 2019