Feb, 2024

通过评估组合性能在构建过程中构建多个决策树的算法框架

PDF
TL;DR本研究提出了一个同时构建决策树并在构建过程中评估它们组合效果的算法框架，通过构建新的决策树组合和评估其组合性能来找到更好的组合。通过在合成和基准数据上进行实验验证了该框架的性能。
发现论文，激发创造
  • 在不确定性下结合预测：随机决策树的案例

    本研究探讨了多个概率预测方法，包括基于信任函数和可靠分类的方法以及我们称之为证据累加的原则。实验结果表明证据累加的效果优于投票和取平均值的方法，特别是在中等规模的叶子节点上。

    Aug, 2022

  • 基于 Boosting 的顺序元树集成构建优化决策树

    使用增强学习方法构建多个元树以提高预测性能，防止过度深化的树引起过拟合的问题，并通过实验与单个决策树的集合进行性能比较。

    Feb, 2024

  • 流行集成方法：一项实证研究

    本研究使用神经网络和决策树作为分类算法，在 23 个数据集上评估了 Bagging 和 Boosting 两种集成方法。研究结果表明 Bagging 方法几乎总是比单个分类器更准确，而 Boosting 方法则在某些情况下比 Bagging 更不准确。数据集的特征对 Boosting 方法的表现有重要影响，这种方法可能会过拟合噪声数据集，从而减少性能。同时我们的结果也说明，集成模型的性能提升大部分发生在前几个分类器的组合中。

    Jun, 2011

  • 多个决策树

    本文研究使用多棵决策树对预测结果进行平均，比使用单棵决策树更能提高预测准确性。作者利用修改版的 ID3 算法选出优秀的决策树进行平均，证明了结构不同的决策树集合进行平均比单棵决策树更优，提高了预测性能。

    Mar, 2013

  • 基于决策树作为数据观测过程的贝叶斯决策理论最优预测算法

    本篇论文利用决策树表示数据观测过程并使用基于贝叶斯决策理论的先验概率分布，将实现统计上最优的预测结果。同时，我们解决了计算 Bayes 最优预测的问题，例如内部节点的特征分配问题，实现方法为应用马尔可夫链 - 蒙特卡洛方法，其步长可以根据先验分布自适应调整。

    Jun, 2023

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • 树形提升：梯度提升树桩和完整决策树之间的联系

    本文介绍了一种新的技术 —— 树结构提升，可以用单一决策树产生等效于分类和回归树或梯度增强桩的模型，并且可以在两种方法之间生成混合模型。此技术不仅为高风险应用（如医学）提供了模型可解释性和预测性能，而且可以优于这两种方法。

    Nov, 2017

  • 通过森林修剪提高随机森林的准确性和可解释性

    通过提出两种森林修剪方法，我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性，通过在给定随机森林中找出最佳子森林，再将选定的树组合在一起，实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。

    Jan, 2024

  • 划分、攻克、融合贝叶斯决策树采样

    该研究使用贝叶斯推断方法来量化决策树预测的不确定性。通过 DCC-Tree 方法，与其他贝叶斯树方法相比，在一致性和降低每个建议的复杂性的同时，表现相媲美其他基于 HMC 的方法。

    Mar, 2024

  • 基于修改的 Aitchison-Aitken 函数的贝叶斯优化和组合扩展决策树的多规则挖掘算法

    决策树具有易于解释的优点，因为它们允许根据 if-then 规则对输入数据进行分类。然而，决策树是由算法构建的，该算法在达到清晰分类的同时使用最少的必要规则，因此，即使数据中存在各种潜在规则，树也只提取最少规则。为了解决这个问题，本文提出了 “MAABO-MT” 和 “GS-MRM” 算法，它们分别在具有小计算复杂性的所有可能树中构建具有高估计性能的树，以及仅提取可靠且不相似的规则。通过使用几个开源数据集进行实验分析，结果证实了 MAABO-MT 以较低的计算代价发现可靠规则，比其他依赖随机性的方法更为有效。此外，所提出的方法被证实在深入挖掘相比之前常用的单一决策树的研究中提供更深入的见解。因此，MAABO-MT 和 GS-MRM 能够高效地从组合爆炸的决策树中提取规则。

    Oct, 2023