随机森林贝叶斯事后正则化
通过提出两种森林修剪方法,我们的研究旨在实现既有随机森林的准确性又具有决策树的解释性,通过在给定随机森林中找出最佳子森林,再将选定的树组合在一起,实验证明我们的方法在准确性和所使用的树的数量方面优于当前先进的森林修剪方法。
Jan, 2024
介绍了一种名为 HS 的 post-hoc 算法,适用于修正树结构中的 overfitting 问题,并通过将预测结果缩小至先辈节点的样本平均值来实现树的正则化。
Feb, 2022
提出了一种针对小效应、异质性效应和强混淆情况下估计异质性治疗效应的新型非线性回归模型,它通过直接将倾向函数估计值纳入响应模型的规范化中,隐式地在回归函数上产生一个协变量依赖的先验,从而回避了标准非线性回归模型在针对混淆强的数据上所产生的治疗效应估计偏倚的问题。同时,这种基于贝叶斯因果森林模型的方法使得治疗效应的异质性能够被分别规范化,从而实现对异质性进行信息收缩。通过对一项关于吸烟对医疗支出因果效应的观察性研究重新分析和广泛的模拟研究,我们表明了这些好处。
Jun, 2017
通过使用 out-of-bag 样本来提高随机森林的泛化误差表现。对 UCI 数据库中的四个数据集进行的初步实证研究表明,随机森林的规模有所减小,而精度损失不大。
Mar, 2017
该研究使用基于树的集成方法,如随机森林、梯度提升树和贝叶斯增加回归树,在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本,通过将每个观测分配到相对应的概率分布区域,为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的,并在实验中研究了它们的偏差 - 方差折衷,并与最先进的性能预测方法进行比较。
Jun, 2024
将随机回归树方法改成了一个新的神经网络模型,称为神经随机森林。 基于随机回归树的架构利用了先验知识并具有更少的参数,较少的限制设计决策路径和优秀的表现使得方法可用于多样的预测问题。
Apr, 2016
我们研究了随机森林相对于 bagging 方法减少偏差的现象,并通过实证研究发现在数据中存在模式时,随机森林在高信噪比情况下减少了偏差和方差,并优于 bagging 方法。对于随机森林中的随机性注入和参数调整也提供了实用的洞见。
Feb, 2024