基于直方图的最小方差抽样的联邦 XGBoost 用于联邦表格数据

May, 2024

基于直方图的最小方差抽样的联邦 XGBoost 用于联邦表格数据

Histogram-Based Federated XGBoost using Minimal Variance Sampling for Federated Tabular Data

William Lindskog, Christian Prehofer, Sarandeep Singh

TL;DR在这篇研究论文中，我们评估了一种使用 Minimal Variance Sampling (MVS) 的基于直方图的联邦 XGBoost 模型，证明了我们的模型在联邦环境中能够通过提高准确性和回归误差来改进性能，并在一组新的联邦表格数据集上取得了优秀的本地和全局性能。联邦 XGBoost 在一半的研究案例中也胜过了集中式 XGBoost。

Abstract

federated learning (FL) has gained considerable traction, yet, for tabular data, FL has received less attention. Most FL research has focused on Neural Networks while tree-based models (TBMs) such as

federated learning tabular data tree-based models xgboost minimal variance sampling

发现论文，激发创造

基于表格数据的联邦学习基准测试：比较基于树模型和神经网络的方法

本研究对水平联邦学习中的树模型和深度神经网络进行了对比，结果显示当前联邦增强的树模型在不同数据分区下表现优于联邦深度神经网络，并且联邦 XGBoost 模型表现最佳。此外，即使增加客户端数量，联邦树模型的性能仍优于联邦参数化模型。

May, 2024

样本非独立同分布数据上的联邦 XGBoost

本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响，并在多个数据集和数据 Skew 分区上进行了广泛的实验测试，结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。

Sep, 2022

可学习学习速率的无梯度联合梯度提升树

提出一种水平联邦 XGBoost 的创新框架，通过使聚合树模型的学习率可学习，从而不依赖于梯度共享，同时提高隐私和通信效率，降低通信轮数和开销，并在各种数据集上进行了广泛评估。

Apr, 2023

聚类抽样：联邦学习中客户选择的低方差和改进的代表性

本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

May, 2021

减小自适应无偏客户抽样的方差以探索联邦优化

提出了一种自适应客户端采样的新方法 K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。

Oct, 2023

基于汤普森采样的联邦贝叶斯优化

本文提出联邦 Thompson 采样（FTS）方法，将贝叶斯优化扩展到联邦学习环境中，以协作方式解决黑盒优化问题，用随机傅里叶特征来逼近高斯过程代理模型，采用 Thompson 采样的方式来降低交换的参数数量，并提供了一个理论保证。实验表明 FTS 有效地解决了沟通效率、计算效率和实际性能等问题。

Oct, 2020

聚类联邦学习的总变差最小化分析

联邦学习应用中的一个关键挑战是本地数据集的统计异质性。聚类联邦学习通过确定大致同质的本地数据集群来解决这一挑战。广义总变差最小化是最近一种用于聚类联邦学习的方法。该方法需要通过领域专长或数据驱动的图学习技术来获取相似性图。在一个广泛适用的聚类假设下，我们推导出广义总变差最小化解与其按簇平均值之间偏差的一个上界。这个界限为了解决联邦学习环境中的统计异质性提供了有价值的深入理解和稳健性评价。

Mar, 2024

FedSampling：一种更好的联邦学习采样策略

本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。

Jun, 2023

联邦学习中客户端抽样的一般理论

本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。

Jul, 2021

大规模安全 XGB 竖直联邦学习

本研究旨在在垂直联合学习设置下构建大规模安全的梯度树提升模型，并从多个方面保证数据隐私，包括采用安全的多方计算技术、分布式存储输出模型以最小化信息泄露，以及提供一种新的算法用于在分布式模型上进行安全的梯度树提升模型预测。通过提出安全置换协议，我们可以提高训练效率并使框架扩展到大型数据集。在公共数据集和真实世界数据集上进行了广泛的实验，结果表明，我们提出的 XGB 模型不仅具有竞争性的准确性，而且具有实用性能。

May, 2020