可学习学习速率的无梯度联合梯度提升树
本研究旨在在垂直联合学习设置下构建大规模安全的梯度树提升模型,并从多个方面保证数据隐私,包括采用安全的多方计算技术、分布式存储输出模型以最小化信息泄露,以及提供一种新的算法用于在分布式模型上进行安全的梯度树提升模型预测。通过提出安全置换协议,我们可以提高训练效率并使框架扩展到大型数据集。在公共数据集和真实世界数据集上进行了广泛的实验,结果表明,我们提出的 XGB 模型不仅具有竞争性的准确性,而且具有实用性能。
May, 2020
该研究提出了一种基于 XGBoost 模型的新颖联邦学习(FL)框架,通过安全的协作建模实现多方可访问但隐藏数据的收集,通过贝叶斯优化实现模型的超参数调优,并通过比较分析证明 FL-XGBoost 方法在地能量领域的二元分类问题中取得了合适的平衡,FL 模型展现了优越的准确性和泛化能力,对于数据有限或相关性较低的参与者而言,相比于单独模型,提供了显著的隐私优势,FL 协议内的聚合优化方法在超参数调优方面表现有效。这项研究开辟了通过协作和隐私保护的 FL 技术评估非传统储层的新途径。
Apr, 2024
本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响,并在多个数据集和数据 Skew 分区上进行了广泛的实验测试,结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。
Sep, 2022
本研究提出了一种名为 FedXGB 的方案,采用新的安全聚合方案来解决关于秘钥控制的问题,并将安全聚合方案应用于 XGBoost 分类和回归树的构建中,实现了良好的效果和效率。
Jul, 2019
提出了基于 XGBoost 的混合联邦学习框架,通过组合水平和垂直联邦学习,从真实时间的外部特征中实现分布式电力预测,并设计了动态任务分配方案以提高训练效率和信息公平性。
Jan, 2022
本文提出了一种名为 SecureBoost 的隐私保护决策树增强系统,旨在使用联邦学习框架实现数据共享,该框架在不遵守用户隐私的前提下,通过实体对齐和加密来对多方进行决策树增强,并且 SecureBoost 可与其他受欢迎的增强算法实现同样准确率,同时保护每个数据提供者的隐私。
Jan, 2019
研究提出了一种名为 Federated Gradient Boosting Forest (FedGBF) 的模型,它能够同时并行地建立决策树作为提升的基础学习器,提高性能并减少时间成本,同时还提出了一种动态更新参数的方法减少复杂度,并在基准数据集上进行了实验,证明了该方法的优越性。
Apr, 2022
这篇研究论文旨在解决协作机构拥有具有不同特征的同一组用户数据和只有一个组织持有标签等场景下的隐私保护垂直联邦学习问题,并提出了一种名为 Pivot 的隐私保护垂直决策树训练和预测的解决方案,该方案不依赖于任何受信任的第三方,并提供了针对半诚实对手的保护。
Aug, 2020
本文提出了一种使用最先进的安全模块进行安全和高效的垂直联邦学习的新方法,与同态加密(HE)相比,该方法提供了 9.1e2〜3.8e4 的加速,同时不影响训练性能。
May, 2023