随机优化森林
该论文提出了一种算法,该算法能够基于全局目标同时优化决策树的所有级别的分裂函数和叶参数,使用随机梯度下降进行优化,实验结果表明,该算法相比贪心算法在分类任务的表现优秀。
Nov, 2015
通过提出一种决策树优化框架,解决了当前领域中两个开放性问题:不平衡数据处理和连续变量完全优化。此外,我们还介绍了一种可扩展的算法,可以在存在连续变量的情况下产生可证明的最优结果,并相对于现有技术将决策树构建速度提高了数个数量级。
Jun, 2020
本研究提出了一种优化多元线性阈值函数作为决策树分裂函数以创建改进的 Random Forest 分类器的新算法,相较于标准的树归纳方法,该方法采用随机梯度下降优化每个节点的线性组合(斜)分裂函数,比之前的构建斜树的技术和单变量分裂函数的随机抽样和穷举搜索方法具有更好的性能,已在多类分类基准测试和 Labeled Faces in the Wild (LFW)数据集上进行了实验验证。
Jun, 2015
该研究探讨了在 “先预测,再优化” 框架下使用决策树进行决策问题的决策,并提出了一种可观的方法称为 SPO Trees (SPOTs) 用于训练决策树,该方法具有较高的解释性。实验结果表明,SPOTs 可提供更高质量的决策,并显著降低了模型复杂性。
Feb, 2020
通过使用智能猜测策略,我们可以在几个数量级的时间里降低运行时间,提供对最佳决策树误差和表达能力偏差的界限,并在许多情况下快速构建与黑盒模型的匹配精度的稀疏决策树。
Dec, 2021
本文提出一种简单且有效的方法,将寻找分类或回归森林的反事实解释所需的最优化问题限制在由实际数据点填充的森林定义的输入空间区域,并使用某个数据集上的某个距离的最近邻搜索来解决问题。这种解决方式有两个优点:能够快速找到解决方案,并且更有可能是现实的,因为它是引导向输入空间的高密度区域的。
Mar, 2023
本文介绍了结合预测算法和优化技术来解决不确定性决策问题的上下文优化领域。文中关注单一和两阶段随机规划问题,识别了三种从数据中学习策略的主要框架,并讨论了它们的优点和局限性。
Jun, 2023
本文提出一种能够在线预测的算法,能够在概率和对抗性设置下与未知复杂度的情境树专家相竞争。通过将结构风险最小化的概率框架纳入现有的自适应算法中,我们不仅可以稳健地学习存在随机结构的同时获得正确的模型阶数,并取得了能够与拥有强侧面信息的最优算法竞争的遗憾边界,从而提供了对模型和随机性同时适应性的第一个具体保证。
May, 2018
基于混合整数规划技术,我们提出了一种学习鲁棒分类树的方法,通过问题转化和约束生成的解决方法,在公共可用数据集上展示了最差情况准确率提高了 12.48%,平均情况准确率提高了 4.85%。
Oct, 2023
本文提出了一种连续优化方法来构建精简的最佳分类树,基于斜裁剪,并旨在在整个树中使用较少的预测变量进行剪枝。该方法模拟了本地和全局稀疏性,证明了其对提高分类精度具有实用性。
Feb, 2020