May, 2020

大规模安全 XGB 竖直联邦学习

PDF
TL;DR本研究旨在在垂直联合学习设置下构建大规模安全的梯度树提升模型，并从多个方面保证数据隐私，包括采用安全的多方计算技术、分布式存储输出模型以最小化信息泄露，以及提供一种新的算法用于在分布式模型上进行安全的梯度树提升模型预测。通过提出安全置换协议，我们可以提高训练效率并使框架扩展到大型数据集。在公共数据集和真实世界数据集上进行了广泛的实验，结果表明，我们提出的 XGB 模型不仅具有竞争性的准确性，而且具有实用性能。
privacy-preserving machine learningfederated learninggradient tree boostingsecure multi-party computationdistributed model
发现论文，激发创造
  • 可学习学习速率的无梯度联合梯度提升树

    提出一种水平联邦 XGBoost 的创新框架，通过使聚合树模型的学习率可学习，从而不依赖于梯度共享，同时提高隐私和通信效率，降低通信轮数和开销，并在各种数据集上进行了广泛评估。

    Apr, 2023

  • 基于树模型的隐私保护纵向联邦学习

    这篇研究论文旨在解决协作机构拥有具有不同特征的同一组用户数据和只有一个组织持有标签等场景下的隐私保护垂直联邦学习问题，并提出了一种名为 Pivot 的隐私保护垂直决策树训练和预测的解决方案，该方案不依赖于任何受信任的第三方，并提供了针对半诚实对手的保护。

    Aug, 2020

  • SecureBoost: 无损联邦学习框架

    本文提出了一种名为 SecureBoost 的隐私保护决策树增强系统，旨在使用联邦学习框架实现数据共享，该框架在不遵守用户隐私的前提下，通过实体对齐和加密来对多方进行决策树增强，并且 SecureBoost 可与其他受欢迎的增强算法实现同样准确率，同时保护每个数据提供者的隐私。

    Jan, 2019

  • 安全聚合的高效垂直联邦学习

    本文提出了一种使用最先进的安全模块进行安全和高效的垂直联邦学习的新方法，与同态加密（HE）相比，该方法提供了 9.1e2〜3.8e4 的加速，同时不影响训练性能。

    May, 2023

  • 实用联邦梯度提升决策树

    本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

    Nov, 2019

  • 移动众感中的隐私保护联邦极限提升

    本研究提出了一种名为 FedXGB 的方案，采用新的安全聚合方案来解决关于秘钥控制的问题，并将安全聚合方案应用于 XGBoost 分类和回归树的构建中，实现了良好的效果和效率。

    Jul, 2019

  • FedGBF: 一种基于梯度提升和 Bagging 的有效垂直联邦学习框架

    研究提出了一种名为 Federated Gradient Boosting Forest (FedGBF) 的模型，它能够同时并行地建立决策树作为提升的基础学习器，提高性能并减少时间成本，同时还提出了一种动态更新参数的方法减少复杂度，并在基准数据集上进行了实验，证明了该方法的优越性。

    Apr, 2022

  • 参与者之间的数据连接：通过联邦学习评估地质能源的潜力

    该研究提出了一种基于 XGBoost 模型的新颖联邦学习（FL）框架，通过安全的协作建模实现多方可访问但隐藏数据的收集，通过贝叶斯优化实现模型的超参数调优，并通过比较分析证明 FL-XGBoost 方法在地能量领域的二元分类问题中取得了合适的平衡，FL 模型展现了优越的准确性和泛化能力，对于数据有限或相关性较低的参与者而言，相比于单独模型，提供了显著的隐私优势，FL 协议内的聚合优化方法在超参数调优方面表现有效。这项研究开辟了通过协作和隐私保护的 FL 技术评估非传统储层的新途径。

    Apr, 2024

  • 一种基于 XGBoost 的公平高效的混合联邦学习框架用于分布式能量预测

    提出了基于 XGBoost 的混合联邦学习框架，通过组合水平和垂直联邦学习，从真实时间的外部特征中实现分布式电力预测，并设计了动态任务分配方案以提高训练效率和信息公平性。

    Jan, 2022

  • 基于拟牛顿方法的垂直联邦学习框架用于逻辑回归

    研究垂直联邦学习结构用于逻辑回归，建立在同态加密方案之上的拟牛顿方法可解决交流困境，能够显著降低交流轮数，并且在每轮中，附加的沟通成本较少。

    Dec, 2019