Oct, 2023

基于修改的 Aitchison-Aitken 函数的贝叶斯优化和组合扩展决策树的多规则挖掘算法

PDF
TL;DR决策树具有易于解释的优点，因为它们允许根据 if-then 规则对输入数据进行分类。然而，决策树是由算法构建的，该算法在达到清晰分类的同时使用最少的必要规则，因此，即使数据中存在各种潜在规则，树也只提取最少规则。为了解决这个问题，本文提出了 “MAABO-MT” 和 “GS-MRM” 算法，它们分别在具有小计算复杂性的所有可能树中构建具有高估计性能的树，以及仅提取可靠且不相似的规则。通过使用几个开源数据集进行实验分析，结果证实了 MAABO-MT 以较低的计算代价发现可靠规则，比其他依赖随机性的方法更为有效。此外，所提出的方法被证实在深入挖掘相比之前常用的单一决策树的研究中提供更深入的见解。因此，MAABO-MT 和 GS-MRM 能够高效地从组合爆炸的决策树中提取规则。
发现论文，激发创造
  • 基于树结构加性模型的高维贝叶斯优化

    本文提出了一种基于广义加性模型 (GAM) 的 Bayesian Optimization (BO) 方法来解决高维优化问题，该方法采用树形结构的依赖图来优化加速计算，同时保留现有方法的样本效率，相比于通过 Gibbs 采样和变异的混合图算法更加高效，通过一系列的实验验证了该方法的有效性。

    Dec, 2020

  • 用嵌套遗传算法解释具有决策规则的分类数据集

    本文旨在自动从分类数据集中提取最能解释该数据集的决策规则集。为了高效解决该组合优化问题，我们引入了一种基于嵌套遗传算法的方法，并使用该方法从十个公共数据集中推导出解释。

    Aug, 2022

  • 基于多变量布尔规则的最优分类树 (BooleanOCT)

    全球优化分类树方法通过建立新的混合整数规划方法，在多个线性和非线性指标的综合下，提供了优于传统方法的解析度和普适性。在延展性和实用性测试中，该方法在小型和中型数据集上相较于随机森林取得了显著的精度提升。

    Jan, 2024

  • 一种优化分类树学习的新型记忆策略

    本文提出一种新颖的演化算法，结合可行解空间的探索和局部搜索，用于归纳分类树，以达到具有一般化能力的结构，其表现与最先进的方法相当，并适用于包含成千上万数据点的数据集。

    May, 2023

  • 强优化分类树

    该论文提出了一种基于流的 MIO 表达式，以用于学习最优二叉分类决策树，并可容纳相应的边际约束，从而使决策树设计变得透明和公平。作者通过实验证明，其相较同类现有 MIO 方法，在性能和计算速度方面有明显提升。

    Mar, 2021

  • AdaBoost.MH 的回归：多类别 Hamming 树

    本文提出了基于 AdaBoost.MH 框架的向量决策树方法，通过使用向量值决策树进行多类边缘优化而不是将多类问题规约为 $K$ 个一对多分类，其中关键要素是由长度为 $K$ 的与标签无关的标量分类器分解出来的与输入无关的向量值决策树桩，在这种方法下，二元分类器可以用于将输入空间分成两个区域，该算法保留了二进制 AdaBoost 的概念优雅性、强大性和计算效率，在实验中与支持向量机和现有最佳的多类提升算法 AOSOLogitBoost 旗鼓相当，而且明显优于其他已知的 AdaBoost.MH 实现。

    Dec, 2013

  • 通过评估组合性能在构建过程中构建多个决策树的算法框架

    本研究提出了一个同时构建决策树并在构建过程中评估它们组合效果的算法框架，通过构建新的决策树组合和评估其组合性能来找到更好的组合。通过在合成和基准数据上进行实验验证了该框架的性能。

    Feb, 2024

  • 基于 Boosting 的顺序元树集成构建优化决策树

    使用增强学习方法构建多个元树以提高预测性能，防止过度深化的树引起过拟合的问题，并通过实验与单个决策树的集合进行性能比较。

    Feb, 2024

  • 基于 Monte Carlo Tree Search 的高维贝叶斯优化变量选择

    本文介绍了一种基于 Monte Carlo Tree Search 的变量选择方法 MCTS-VS，通过迭代选择和优化一组变量来构建低维空间，并使用任何 Bayesian optimization 算法在该空间内进行优化，经过高维合成函数和现实世界任务的测试，表明 MCTS-VS 可以在高维问题上获得业界领先效果。

    Oct, 2022

  • 蒙特卡罗树下降用于黑盒优化

    本文研究了在黑盒优化中通过引入 Monte Carlo Tree Search 方法和结合具备随机搜索功能和高斯过程的新下降方法等技术，以实现更快速的优化。实验结果表明，所提出的方法在各种有挑战性的基准问题上表现优越。

    Nov, 2022