一种基于 XGBoost 的公平高效的混合联邦学习框架用于分布式能量预测

Jan, 2022

一种基于 XGBoost 的公平高效的混合联邦学习框架用于分布式能量预测

A Fair and Efficient Hybrid Federated Learning Framework based on XGBoost for Distributed Power Prediction

Haizhou Liu, Xuan Zhang, Xinwei Shen, Hongbin Sun

TL;DR提出了基于 XGBoost 的混合联邦学习框架，通过组合水平和垂直联邦学习，从真实时间的外部特征中实现分布式电力预测，并设计了动态任务分配方案以提高训练效率和信息公平性。

Abstract

In a modern power system, real-time data on power generation/consumption and its relevant features are stored in various distributed parties, including household meters, transformer stations and external organizations. To fully exploit the underlying patterns of these distributed data

federated learning power prediction xgboost horizontal and vertical distributed data

发现论文，激发创造

参与者之间的数据连接：通过联邦学习评估地质能源的潜力

该研究提出了一种基于 XGBoost 模型的新颖联邦学习（FL）框架，通过安全的协作建模实现多方可访问但隐藏数据的收集，通过贝叶斯优化实现模型的超参数调优，并通过比较分析证明 FL-XGBoost 方法在地能量领域的二元分类问题中取得了合适的平衡，FL 模型展现了优越的准确性和泛化能力，对于数据有限或相关性较低的参与者而言，相比于单独模型，提供了显著的隐私优势，FL 协议内的聚合优化方法在超参数调优方面表现有效。这项研究开辟了通过协作和隐私保护的 FL 技术评估非传统储层的新途径。

Apr, 2024

智能电网的联邦学习框架：在协作学习中保障功率跟踪的安全性

使用联邦学习框架进行大数据分析技术在智能电网中的应用，保证数据安全和隐私保护，提高能源利用效率。

Mar, 2021

可学习学习速率的无梯度联合梯度提升树

提出一种水平联邦 XGBoost 的创新框架，通过使聚合树模型的学习率可学习，从而不依赖于梯度共享，同时提高隐私和通信效率，降低通信轮数和开销，并在各种数据集上进行了广泛评估。

Apr, 2023

混合数据的有效高效联邦树学习

提出了一种名为 HybridTree 的新颖联邦学习方法，能够在混合数据上进行联邦树学习，并通过观察树中的一致分割规则理论上证明了可以将各方的知识融入树的较低层，实验证明 HybridTree 在计算和通信开销较低的情况下能够达到与集中式场景相当的准确度，并且相比其他基准方法可实现高达 8 倍的加速。

Oct, 2023

大规模安全 XGB 竖直联邦学习

本研究旨在在垂直联合学习设置下构建大规模安全的梯度树提升模型，并从多个方面保证数据隐私，包括采用安全的多方计算技术、分布式存储输出模型以最小化信息泄露，以及提供一种新的算法用于在分布式模型上进行安全的梯度树提升模型预测。通过提出安全置换协议，我们可以提高训练效率并使框架扩展到大型数据集。在公共数据集和真实世界数据集上进行了广泛的实验，结果表明，我们提出的 XGB 模型不仅具有竞争性的准确性，而且具有实用性能。

May, 2020

样本非独立同分布数据上的联邦 XGBoost

本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响，并在多个数据集和数据 Skew 分区上进行了广泛的实验测试，结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。

Sep, 2022

实用联邦梯度提升决策树

本文研究了使用局部敏感哈希的 GBDT 在水平联邦学习中的训练，证明了其安全性并且可以显著提高预测准确性。

Nov, 2019

FedGBF: 一种基于梯度提升和 Bagging 的有效垂直联邦学习框架

研究提出了一种名为 Federated Gradient Boosting Forest (FedGBF) 的模型，它能够同时并行地建立决策树作为提升的基础学习器，提高性能并减少时间成本，同时还提出了一种动态更新参数的方法减少复杂度，并在基准数据集上进行了实验，证明了该方法的优越性。

Apr, 2022

基于 Transformer 的联邦学习的智能电网安全短期负荷预测

本文介绍了一种基于 Transformer 的深度学习方法，利用联邦学习进行短期电力负荷预测，模型的性能超过了长短时记忆模型和卷积神经网络，是联邦学习中值得期待的一个替代方案。

Oct, 2023

基于联邦学习方法的数据不平衡对信用风险预测的影响

信用风险预测对商业银行和其他金融机构在授予贷款和减少潜在损失方面起着关键作用。本研究调查了联邦学习在信用风险评估中的可行性，并展示了数据不平衡对模型性能的影响。通过使用多层感知机 (MLP)、长短期记忆网络 (LSTM) 和极限梯度提升 (XGBoost) 等不同架构，以及三个不同数据集和不同场景下的数据分布配置，我们证明了联邦模型在数据集较小的非主导客户上始终优于本地模型，在高度不平衡的数据场景中平均提高了 17.92% 的模型性能，然而对于数据更多的主导客户，联邦模型可能表现出较低的性能，因此需要针对这类客户提供特殊的激励以鼓励其参与。

Jan, 2024