分片贝叶斯加性回归树
本文介绍了基于贝叶斯回归的非参数贝叶斯回归方法,该方法使用适应维度随机基元素。文中还介绍了此方法的许多特点,包括向后选择变量,以及使用 42 个不同的数据集进行的性能检验和模拟实验,这也应用于药物发现分类问题中。
Jun, 2008
Bayesian 加法回归树模型(BART)是一种常用的贝叶斯非参数回归模型,广泛应用于因果推断等领域。然而,本文表明 BART 采样器的收敛速度往往较慢,尤其在具有离散协变量的情况下。随着训练样本的增加,近似 BART 后验与精确后验逐渐不同,这对先前关于精确后验的收敛性结果形成了鲜明对比。通过模拟实验证实了近似后验置信区间的频率覆盖不足以及通过多个采样链平均改善收敛性所得到的近似后验均方误差与精确后验之间的比率的增加。基于我们的理论洞见,我们还讨论了改进 BART 采样器收敛性能的可能性。
Jun, 2024
使用稀疏感应的 soft decision trees 取代传统的决策树集成方法,可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法,理论上得到强大的支持,并在基准数据集上表现出良好的性能。
Jul, 2017
Soft BART 的性能在现有贝叶斯树和树集模型上获得理论和实际上的改进,在长 MCMC 循环中速度慢;我们提出了一种名为加速 Soft BART(ASBART)的 BART 变体,它比 Soft BART 快约 10 倍,并且具有相近的准确性。
Oct, 2023
应用贝叶斯加法回归树(BART)原理对小型神经网络进行回归任务的训练,通过马尔科夫链蒙特卡洛从具有单隐藏层的神经网络的后验分布中进行采样并应用吉布斯采样来更新每个网络,演示了该技术在多个基准回归问题上的有效性,并与等效的浅层神经网络、BART 和最小二乘法进行比较,我们的贝叶斯加法回归网络(BARN)提供了更一致且通常更准确的结果。在测试数据基准中,BARN 的平均根均方误差较低,降低了 5% 至 20%。然而,这种误差性能的提升代价是更长的计算时间,BARN 的计算时间可能为一分钟,而竞争方法只需一秒或更短,但是没有经过交叉验证的超参数调整的 BARN 与其他方法总体上需要相同的计算时间,然而 BARN 通常更准确。
Apr, 2024
本文提出并评估贝叶斯加性回归树(BART)与其他已有方法(如 IPTWM、TMLE、向量匹配和回归调整等)在多个处理方式时,因为结果是二进制的而缺乏强大的估计因果效应的方法。结果表明,在处理分配和结果生成机制的非线性和非可加性的情况下,BART、TMLE 和采用广义提升模型(GBM)的 IPTW 提供更好的偏差降低和较小的均方根误差,本文还提出了一种用于特定处理的共同支持区域来获得更好的外推结果和保持推断的方法。
Jan, 2020
该研究使用基于树的集成方法,如随机森林、梯度提升树和贝叶斯增加回归树,在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本,通过将每个观测分配到相对应的概率分布区域,为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的,并在实验中研究了它们的偏差 - 方差折衷,并与最先进的性能预测方法进行比较。
Jun, 2024
本文提出了一种基于广义加性模型 (GAM) 的 Bayesian Optimization (BO) 方法来解决高维优化问题,该方法采用树形结构的依赖图来优化加速计算,同时保留现有方法的样本效率,相比于通过 Gibbs 采样和变异的混合图算法更加高效,通过一系列的实验验证了该方法的有效性。
Dec, 2020
本文提出了一种针对贝叶斯回归树的采样算法,其中包括规则扰动和树旋转等提议机制,这些机制在与传统的出生 / 死亡提议相结合时,可以提高 MCMC 采样器的接受率,并在后验样本中合理表示模型不确定性。
Dec, 2013