Jun, 2024

概率回归树集成

PDF
TL;DR该研究使用基于树的集成方法，如随机森林、梯度提升树和贝叶斯增加回归树，在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本，通过将每个观测分配到相对应的概率分布区域，为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的，并在实验中研究了它们的偏差 - 方差折衷，并与最先进的性能预测方法进行比较。
tree-based ensemble methodsprobabilistic regression treesobjective functionbias-variance trade-offperformance prediction
发现论文，激发创造
  • 适应平滑性和稀疏性的贝叶斯回归树集成

    使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并在基准数据集上表现出良好的性能。

    Jul, 2017

  • 计算最优树集合

    提出了两种新算法以及相应的下限，适用于树集合，展示了决策树和树集合分类训练数据集所需的切割数相比，随着树的数量增加，集合所需的切割数可能会指数级下降。

    Jun, 2023

  • 大规模概率回归的概率梯度提升机

    提出了一种名为 PGBM 的新方法，利用决策树的随机叶权重和随机树集更新方程逼近训练集中每个样本的均值和方差，从而实现单一模型预测概率分布，比传统方法速度快且效果更佳。

    Jun, 2021

  • 神经随机森林

    将随机回归树方法改成了一个新的神经网络模型，称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数，较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。

    Apr, 2016

  • 为什么随机森林有效？理解树集合作为自正则化的自适应平滑器

    将树集合视为自适应和自正则化的平滑器，可以提供对集合中树的预测更为平滑的新认知和深入洞察，以及通过量化集合中树的平滑效果客观地重新审视和调和森林成功的两种近期解释，并挑战以方差减少为唯一解释的观点，展示森林通过三种机制改进树的性能，并通过丰富可用的假设空间减少学习函数的潜在偏差。

    Feb, 2024

  • 混合特征空间已知约束条件下的贝叶斯优化树集成核函数

    本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

    Jul, 2022

  • 使树集成模型可解释性：贝叶斯模型选择方法

    本研究提出了一种通过模型简化方法（树模型的选择问题），使得复杂的树模型具有可解释性的算法，该算法可以保证预测性能的同时，将复杂的树模型逼近成最简单的表现形式

    Jun, 2016

  • 复杂地形下用分布式回归森林进行降雨概率预测

    提出了一种将回归树与随机森林与经典 GAMLSS 框架中的分布并置合并的分布回归树和随机森林框架，以用于变量选择和建模非平滑依赖关系或高阶交互作用的情况，将其应用于大量气象预测数据生成的降水概率预测，并发现这种方法可以自动选择变量和交互作用，性能与计算成本高的提前预测信息或增强方法 GAMLSS 的性能相当甚至更好。

    Apr, 2018

  • 树集成分类器的概念视角

    本文提出了一种基于格论的代数方法来解释树集成分类器中随机森林的分类性能，并展示了该方法在提供全局解释方面的能力。

    Feb, 2023

  • 通过置信区间和假设检验对随机森林中的不确定性进行量化

    本文提出针对机器学习集成方法的正式统计推断程序，重点在于利用样本的子样本进行 U - 统计的预测，进而提供置信区间，以及作为检验功能、估计方差等应用。

    Apr, 2014