本文提供inTrees框架,通过提取、衡量、修剪和选择树集合中的规则,并计算频繁的变量交互来提高树集合的可解释性。inTrees框架可以应用于分类和回归问题,并适用于多种树集合类型,例如随机森林、正则化随机森林和Boosted Trees。
Aug, 2014
提出了通过表现每个类别的代表点-原型来解释树模型集合分类器的方法,并通过应用新的距离和自适应原型选择方法,在随机森林和梯度提升树上演示了原型的可行性,其在人类用户的研究中表现良好,并为决策树模型的解释提供了可行的替代方案。
Nov, 2016
描述了两种扩展标准树提升算法以提高小型模型精度的方法:一是将提升形式从标量树扩展到矢量树以支持多类分类器,二是采用逐层提升方法在函数空间中进行更小的步长,从而达到更快的收敛和更紧凑的集合,并在各种多类数据集上证明了其功效。
Oct, 2017
本文介绍了一种新的技术——树结构提升,可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型,并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用(如医学)提供了模型可解释性和预测性能,而且可以优于这两种方法。
Nov, 2017
解决了如何在树集合模型中找出影响力训练样本的问题,并对扩展该方法以适用于非参数模型提出了几种方法。实验证明,本方法不仅性能良好,而且计算效率高。
Feb, 2018
本文介绍了如何生成树型集成学习(特别是梯度提升决策树)的本地解释,以便理解黑盒子模型的预测。作者提出了一种方法,可以对于正确预测的实例生成对抗解释,来研究模型的敏感性。与现有方法不同,这个方法可以在保持原有结构和准确性的情况下为GBDT提供解释。
Jul, 2019
本文提出了一种名为“Shrub Ensembles”的新型在线分类集成算法,它使用随机近端梯度下降法训练小到中等大小的决策树,并在小窗口上处理数据以节省内存。实验表明,该方法在资源有限的情况下仍然表现出色。
Dec, 2021
介绍了一种名为HS的post-hoc算法,适用于修正树结构中的overfitting问题,并通过将预测结果缩小至先辈节点的样本平均值来实现树的正则化。
Feb, 2022
MetaTree通过训练基于transformer的模型,并使用经典算法的筛选输出结果来生成强大的分类决策树,从而在提供高预测性能的同时解决了局部优化和全局泛化之间的矛盾。
Feb, 2024
本研究提出了一个同时构建决策树并在构建过程中评估它们组合效果的算法框架,通过构建新的决策树组合和评估其组合性能来找到更好的组合。通过在合成和基准数据上进行实验验证了该框架的性能。