基于 Boosting 的顺序元树集成构建优化决策树
MetaTree 通过训练基于 transformer 的模型,并使用经典算法的筛选输出结果来生成强大的分类决策树,从而在提供高预测性能的同时解决了局部优化和全局泛化之间的矛盾。
Feb, 2024
本研究提出了一个同时构建决策树并在构建过程中评估它们组合效果的算法框架,通过构建新的决策树组合和评估其组合性能来找到更好的组合。通过在合成和基准数据上进行实验验证了该框架的性能。
Feb, 2024
本研究旨在解决决策树集成在多领域应用时造成的可解释性下降,提出了 Born-Again 树集成的方法,通过动态规划算法生成出在实际数据集上表现优异的 Born-Again 树模型,以在不牺牲分类器性能的前提下获得更高的可解释性。
Mar, 2020
本研究使用神经网络和决策树作为分类算法,在 23 个数据集上评估了 Bagging 和 Boosting 两种集成方法。研究结果表明 Bagging 方法几乎总是比单个分类器更准确,而 Boosting 方法则在某些情况下比 Bagging 更不准确。数据集的特征对 Boosting 方法的表现有重要影响,这种方法可能会过拟合噪声数据集,从而减少性能。同时我们的结果也说明,集成模型的性能提升大部分发生在前几个分类器的组合中。
Jun, 2011
本研究提出了一种通过模型简化方法(树模型的选择问题),使得复杂的树模型具有可解释性的算法,该算法可以保证预测性能的同时,将复杂的树模型逼近成最简单的表现形式
Jun, 2016
本文提出了一种新的无监督 boosting 方法来创建生成模型的集成,进一步允许集成包括区分真实数据和模拟生成数据的判别模型。作者证明了这种方法在一定条件下能将新模型集成进来以提升适合度,并在基准数据集上对密度估计、分类和样本生成的广泛生成模型应用中展示了黑盒 boosting 算法的有效性。
Feb, 2017
提出了通过表现每个类别的代表点 - 原型来解释树模型集合分类器的方法,并通过应用新的距离和自适应原型选择方法,在随机森林和梯度提升树上演示了原型的可行性,其在人类用户的研究中表现良好,并为决策树模型的解释提供了可行的替代方案。
Nov, 2016
本文提出了一种名为 “Shrub Ensembles” 的新型在线分类集成算法,它使用随机近端梯度下降法训练小到中等大小的决策树,并在小窗口上处理数据以节省内存。实验表明,该方法在资源有限的情况下仍然表现出色。
Dec, 2021
本文提出一种基于威胁模型的决策树学习算法 Treant,通过采用坚固分裂和攻击鲁棒性等两种技术手段,使得学习过程更为完整、高效,有效提高抗攻击性能。
Jul, 2019