贝叶斯加法回归树的共同数据学习
本文介绍了基于贝叶斯回归的非参数贝叶斯回归方法,该方法使用适应维度随机基元素。文中还介绍了此方法的许多特点,包括向后选择变量,以及使用 42 个不同的数据集进行的性能检验和模拟实验,这也应用于药物发现分类问题中。
Jun, 2008
Bayesian 加法回归树模型(BART)是一种常用的贝叶斯非参数回归模型,广泛应用于因果推断等领域。然而,本文表明 BART 采样器的收敛速度往往较慢,尤其在具有离散协变量的情况下。随着训练样本的增加,近似 BART 后验与精确后验逐渐不同,这对先前关于精确后验的收敛性结果形成了鲜明对比。通过模拟实验证实了近似后验置信区间的频率覆盖不足以及通过多个采样链平均改善收敛性所得到的近似后验均方误差与精确后验之间的比率的增加。基于我们的理论洞见,我们还讨论了改进 BART 采样器收敛性能的可能性。
Jun, 2024
使用稀疏感应的 soft decision trees 取代传统的决策树集成方法,可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法,理论上得到强大的支持,并在基准数据集上表现出良好的性能。
Jul, 2017
本文提出并评估贝叶斯加性回归树(BART)与其他已有方法(如 IPTWM、TMLE、向量匹配和回归调整等)在多个处理方式时,因为结果是二进制的而缺乏强大的估计因果效应的方法。结果表明,在处理分配和结果生成机制的非线性和非可加性的情况下,BART、TMLE 和采用广义提升模型(GBM)的 IPTW 提供更好的偏差降低和较小的均方根误差,本文还提出了一种用于特定处理的共同支持区域来获得更好的外推结果和保持推断的方法。
Jan, 2020
提出了一种针对小效应、异质性效应和强混淆情况下估计异质性治疗效应的新型非线性回归模型,它通过直接将倾向函数估计值纳入响应模型的规范化中,隐式地在回归函数上产生一个协变量依赖的先验,从而回避了标准非线性回归模型在针对混淆强的数据上所产生的治疗效应估计偏倚的问题。同时,这种基于贝叶斯因果森林模型的方法使得治疗效应的异质性能够被分别规范化,从而实现对异质性进行信息收缩。通过对一项关于吸烟对医疗支出因果效应的观察性研究重新分析和广泛的模拟研究,我们表明了这些好处。
Jun, 2017
应用贝叶斯加法回归树(BART)原理对小型神经网络进行回归任务的训练,通过马尔科夫链蒙特卡洛从具有单隐藏层的神经网络的后验分布中进行采样并应用吉布斯采样来更新每个网络,演示了该技术在多个基准回归问题上的有效性,并与等效的浅层神经网络、BART 和最小二乘法进行比较,我们的贝叶斯加法回归网络(BARN)提供了更一致且通常更准确的结果。在测试数据基准中,BARN 的平均根均方误差较低,降低了 5% 至 20%。然而,这种误差性能的提升代价是更长的计算时间,BARN 的计算时间可能为一分钟,而竞争方法只需一秒或更短,但是没有经过交叉验证的超参数调整的 BARN 与其他方法总体上需要相同的计算时间,然而 BARN 通常更准确。
Apr, 2024
本研究提出了一种基于树模型进行模型平均的方法,旨在提高分布式数据网络下个性化治疗效果 (CATE) 估计精度,包括通过站点划分与模型组合来建模数据源异质性等。该方法通过真实世界数据的研究和全面的仿真实验表明其性能和提高治疗效果估计的实用价值。
Mar, 2021
Soft BART 的性能在现有贝叶斯树和树集模型上获得理论和实际上的改进,在长 MCMC 循环中速度慢;我们提出了一种名为加速 Soft BART(ASBART)的 BART 变体,它比 Soft BART 快约 10 倍,并且具有相近的准确性。
Oct, 2023
本文介绍了 Bayesian Topic Regression 模型,该模型使用文本和数字信息以建模结果变量,并允许估计离散和连续处理效应,同时结合了有监督的表示学习和贝叶斯回归框架,以处理文本数据和数字混淆因素,证明了本文方法在合成和半合成数据集上降低偏差,并在两个真实数据集上展示了具体效果。
Sep, 2021
本文提出了一种改进的贝叶斯推断方法,可以通过条件数据的经验分布邻域而不是实际数据,提高模型对扰动的鲁棒性;该方法使用基于相对熵估计的邻域,通过将似然函数提升到分数次幂(即 tempering),使得可以使用标准方法实现推断,甚至在使用共轭先验时也能获得解析解。实验结果表明,在混合模型、未知阶数自回归模型及线性回归变量选择等任务中都能得到良好表现。
Jun, 2015