Jun, 2024

贝叶斯加法回归树中大数据的计算困境：一个命中时间分析

PDF
TL;DRBayesian 加法回归树模型（BART）是一种常用的贝叶斯非参数回归模型，广泛应用于因果推断等领域。然而，本文表明 BART 采样器的收敛速度往往较慢，尤其在具有离散协变量的情况下。随着训练样本的增加，近似 BART 后验与精确后验逐渐不同，这对先前关于精确后验的收敛性结果形成了鲜明对比。通过模拟实验证实了近似后验置信区间的频率覆盖不足以及通过多个采样链平均改善收敛性所得到的近似后验均方误差与精确后验之间的比率的增加。基于我们的理论洞见，我们还讨论了改进 BART 采样器收敛性能的可能性。
bayesian additive regression treesbartcausal inferenceconvergencemcmc samples
发现论文，激发创造
  • 贝叶斯加性回归树 (Bayesian Additive Regression Trees)

    本文介绍了基于贝叶斯回归的非参数贝叶斯回归方法，该方法使用适应维度随机基元素。文中还介绍了此方法的许多特点，包括向后选择变量，以及使用 42 个不同的数据集进行的性能检验和模拟实验，这也应用于药物发现分类问题中。

    Jun, 2008

  • BART 简化版本混合时间下界

    本文提出了 BART 的简化版本，并证明了 BART 的混合时间与数据点数量之间的联系。我们还表明 BART 使用的样本量需要随数据点数量增加而增加。

    Oct, 2022

  • ASBART：加速软贝叶斯附加回归树

    Soft BART 的性能在现有贝叶斯树和树集模型上获得理论和实际上的改进，在长 MCMC 循环中速度慢；我们提出了一种名为加速 Soft BART（ASBART）的 BART 变体，它比 Soft BART 快约 10 倍，并且具有相近的准确性。

    Oct, 2023

  • 贝叶斯加性回归网络

    应用贝叶斯加法回归树（BART）原理对小型神经网络进行回归任务的训练，通过马尔科夫链蒙特卡洛从具有单隐藏层的神经网络的后验分布中进行采样并应用吉布斯采样来更新每个网络，演示了该技术在多个基准回归问题上的有效性，并与等效的浅层神经网络、BART 和最小二乘法进行比较，我们的贝叶斯加法回归网络（BARN）提供了更一致且通常更准确的结果。在测试数据基准中，BARN 的平均根均方误差较低，降低了 5% 至 20%。然而，这种误差性能的提升代价是更长的计算时间，BARN 的计算时间可能为一分钟，而竞争方法只需一秒或更短，但是没有经过交叉验证的超参数调整的 BARN 与其他方法总体上需要相同的计算时间，然而 BARN 通常更准确。

    Apr, 2024

  • 适应平滑性和稀疏性的贝叶斯回归树集成

    使用稀疏感应的 soft decision trees 取代传统的决策树集成方法，可以克服它们的光滑性差和受维度灾难的困扰。在 Bayesian additive regression trees 框架下实现该方法，理论上得到强大的支持，并在基准数据集上表现出良好的性能。

    Jul, 2017

  • 分片贝叶斯加性回归树

    开发了基于随机切片的贝叶斯加性回归树（SBT）模型，通过引入随机化辅助变量和分片树来决定数据分片，并使用贝叶斯加性回归树（BART）将每个分区组件拟合到子模型中。通过引入交集树结构完全指定切割和建模，通过实验和推导理论优化权重来最小化后验收缩并证明了 SBT 的最坏时间复杂性。

    Jun, 2023

  • 观察研究中多种治疗对二元结果的因果效应估计

    本文提出并评估贝叶斯加性回归树（BART）与其他已有方法（如 IPTWM、TMLE、向量匹配和回归调整等）在多个处理方式时，因为结果是二进制的而缺乏强大的估计因果效应的方法。结果表明，在处理分配和结果生成机制的非线性和非可加性的情况下，BART、TMLE 和采用广义提升模型（GBM）的 IPTW 提供更好的偏差降低和较小的均方根误差，本文还提出了一种用于特定处理的共同支持区域来获得更好的外推结果和保持推断的方法。

    Jan, 2020

  • 贝叶斯回归树模型的高效 Metroplis-Hastings 提议机制

    本文提出了一种针对贝叶斯回归树的采样算法，其中包括规则扰动和树旋转等提议机制，这些机制在与传统的出生 / 死亡提议相结合时，可以提高 MCMC 采样器的接受率，并在后验样本中合理表示模型不确定性。

    Dec, 2013

  • 贝叶斯加法回归树的共同数据学习

    应用贝叶斯加法回归树 (BART) 模型，结合实证贝叶斯 (EB) 框架和外部协变量信息（Co-data），以解决医学预测中小样本和高维数据的问题，并证明该方法在不同类型的 Co-data 下具有较好的预测性能。

    Nov, 2023

  • 非线性回归模型的近似贝叶斯计算

    介绍了一种基于机器学习的方法，通过非线性条件异方差回归和改进的重要性采样方法估计后验概率密度，相较于现有方法在统计遗传学和排队模型等领域计算负担减轻了不少。

    Sep, 2008