决策树组合算法（如 RandomForest 和 GradientBoosting）在对于离散或表格数据进行建模方面是主导方法，但是由于它们无法像神经网络那样从原始数据中进行层次化表示学习，因此限制了其在深度学习问题和建模非结构化数据方面的应用。然而，本研究表明通过将 bagging 和 boosting 的数学形式结合起来，可以定义一个具有分布式表示学习过程的图结构树集成算法，并且不需要使用反向传播算法，我们称之为分布式梯度提升森林（DGBF）。最后，我们发现分布式学习在 9 个数据集中的 7 个中表现优于 RandomForest 和 GradientBoosting。

Feb, 2024

本研究旨在在垂直联合学习设置下构建大规模安全的梯度树提升模型，并从多个方面保证数据隐私，包括采用安全的多方计算技术、分布式存储输出模型以最小化信息泄露，以及提供一种新的算法用于在分布式模型上进行安全的梯度树提升模型预测。通过提出安全置换协议，我们可以提高训练效率并使框架扩展到大型数据集。在公共数据集和真实世界数据集上进行了广泛的实验，结果表明，我们提出的 XGB 模型不仅具有竞争性的准确性，而且具有实用性能。

May, 2020

本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

Nov, 2019

提出一种水平联邦 XGBoost 的创新框架，通过使聚合树模型的学习率可学习，从而不依赖于梯度共享，同时提高隐私和通信效率，降低通信轮数和开销，并在各种数据集上进行了广泛评估。

Apr, 2023

提出了基于 XGBoost 的混合联邦学习框架，通过组合水平和垂直联邦学习，从真实时间的外部特征中实现分布式电力预测，并设计了动态任务分配方案以提高训练效率和信息公平性。

Jan, 2022

本文介绍了一种基于渐进提升方法和 Nesterov 加速下降的新算法 AGB，不但表现突出，在不同预测问题中还表现出更好的稀疏性和少对收缩参数的敏感性。

Mar, 2018

本文提出一种名为 FedBE 的基于贝叶斯推理的聚合算法，将局部模型聚合成全局模型，使得在非独立同分布数据和深度神经网络方面具有更强的表现，而该方法与最近关于正则化用户模型训练的研究兼容，可以轻松应用于联邦学习算法的 Aggregation 模块。

Sep, 2020

本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响，并在多个数据集和数据 Skew 分区上进行了广泛的实验测试，结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。

Sep, 2022

该研究提出了一种基于 XGBoost 模型的新颖联邦学习（FL）框架，通过安全的协作建模实现多方可访问但隐藏数据的收集，通过贝叶斯优化实现模型的超参数调优，并通过比较分析证明 FL-XGBoost 方法在地能量领域的二元分类问题中取得了合适的平衡，FL 模型展现了优越的准确性和泛化能力，对于数据有限或相关性较低的参与者而言，相比于单独模型，提供了显著的隐私优势，FL 协议内的聚合优化方法在超参数调优方面表现有效。这项研究开辟了通过协作和隐私保护的 FL 技术评估非传统储层的新途径。

Apr, 2024

本文提出了一种名为 SecureBoost 的隐私保护决策树增强系统，旨在使用联邦学习框架实现数据共享，该框架在不遵守用户隐私的前提下，通过实体对齐和加密来对多方进行决策树增强，并且 SecureBoost 可与其他受欢迎的增强算法实现同样准确率，同时保护每个数据提供者的隐私。

Jan, 2019