该研究使用基于树的集成方法，如随机森林、梯度提升树和贝叶斯增加回归树，在许多应用和研究中成功地用于回归问题。本文研究了概率回归树的集成版本，通过将每个观测分配到相对应的概率分布区域，为目标函数提供平滑逼近。我们证明了所考虑的概率回归树的集成版本是一致的，并在实验中研究了它们的偏差 - 方差折衷，并与最先进的性能预测方法进行比较。

Jun, 2024

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018

NGBoost 是一种利用梯度提升用于概率预测的算法，可以通过考虑与目标函数相关的分布的参数并将其视为多参数提升算法的目标来泛化梯度提升以进行概率回归。它可以与任何基本学习器、任何具有连续参数的分布族以及任何得分规则一起使用，具有灵活性、可扩展性和易用性等额外优点。

Oct, 2019

我们提出了 FairGBM，这是一种用于在公平约束下训练 GBDT 的双升学习框架，其对预测性能的影响很小，同时提出了平滑的凸误差率代理。

Sep, 2022

提出了基于块的分布式梯度提升树算法（GBT），以解决传统分布式 GBT 算法中针对数据点而非特征的可扩展性问题。该算法针对数据稀疏性和数据特征进行了定制，通过适应 Quickscorer 算法在块分布式设置中的使用，可在稀疏数据中实现通信成本的多个数量级降低，同时不损失准确性。

Apr, 2019

为了扩展标准高斯过程回归到大规模数据集，聚合模型采用因子化训练过程，然后结合来自分布式专家的预测。然而，现有的聚合模型要么提供不一致的预测，要么需要耗时的聚合过程。本文对典型聚合方式使用不连续或随机数据划分的不一致性进行了证明，并提出了一种高效且一致性的大规模高斯过程聚合模型。所提出的模型继承了聚合的优点，如闭合形式推理和聚合，并行化和分布式计算。此外，理论和实证分析表明，由于预测一致，所以新的聚合模型在训练样本接近无穷大时会更加优越。

Jun, 2018

对于规模更大的电子商务公司的预测挑战，在较少的系列和间歇性数据的聚合级别上进行自顶向下的预测，并进行分解以获取决策级别的预测，通过分布假设产生概率预测，并使用子样本进行直接训练的可扩展方法。

Nov, 2023

通过对具有 15 年长期月度跨越美国的大型数据集进行广泛比较，本研究旨在首次进行基于机器学习的不确定性量化任务的基准测试，结论表明适用于此任务的学习器的能力排名分别为：LightGBM，QRF，GRF，GBM，QRNN 和 QR。

Nov, 2023

决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

本论文提出一种加权贝叶斯自助法（WBB）用于机器学习和统计学的不确定性量化，可通过对多维后验分布进行采样实现，计算速度快，可扩展性好，并对正则化回归、趋势滤波和深度学习等众多机器学习和统计模型进行了应用。

Mar, 2018