聚类联邦学习的总变差最小化分析

Mar, 2024

聚类联邦学习的总变差最小化分析

Analysis of Total Variation Minimization for Clustered Federated Learning

A. Jung

TL;DR联邦学习应用中的一个关键挑战是本地数据集的统计异质性。聚类联邦学习通过确定大致同质的本地数据集群来解决这一挑战。广义总变差最小化是最近一种用于聚类联邦学习的方法。该方法需要通过领域专长或数据驱动的图学习技术来获取相似性图。在一个广泛适用的聚类假设下，我们推导出广义总变差最小化解与其按簇平均值之间偏差的一个上界。这个界限为了解决联邦学习环境中的统计异质性提供了有价值的深入理解和稳健性评价。

Abstract

A key challenge in federated learning applications is the statistical heterogeneity of local datasets. Clustered federated learning addresses this challenge by identifying clusters of local datasets that are appr

federated learning clustered federated learning generalized total variation minimization similarity graph statistical heterogeneity

发现论文，激发创造

分布式变分不等式的通信高效梯度下降方法：统一分析与本地更新

针对分布式变分不等式问题提出了一种统一的收敛分析方法和几种新的本地训练算法，采用了一般的随机估计假设，证明了算法的收敛性，同时解决了分布式最小化和最大化优化问题。

Jun, 2023

去中心化快速梯度追踪的联邦极小化优化与本地更新

提出了一种名为 K-GT-Minimax 的新型去中心化的最小最大优化算法，结合了本地更新和梯度跟踪技术，证明了该算法在非凸强凹（NC-SC）最小最大优化问题上具有较高的收敛速度，能够处理数据异构性并确保鲁棒性，从而推动联邦学习研究和应用的发展。

May, 2024

可证明的个性化和强健联邦学习

本文提出采用简单的基于阈值的聚类算法以及本地客户端梯度的方法来解决联邦学习个性化问题，在保证最优收敛保障的同时，算法具有健壮性。

Jun, 2023

变分联合多任务学习

VIRTUAL 算法在联邦多任务学习中被引入以处理具有强统计异质性的真实世界联邦数据集，该算法能够在联邦数据集中发挥作用，同时允许更少的梯度更新。

Jun, 2019

联邦变分推断：实现更好的个性化和泛化

本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法，该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证，结果显示 FedVI 在图像分类任务上的表现超过了现有算法。

May, 2023

通过寻求平坦的极小值改善联邦学习的泛化能力

通过研究损失和 Hessian 特征谱的几何性质，我们研究了联邦设置中模型的不良性能和泛化失败，发现使用 SAM 或 ASAM 本地训练客户端并在服务器端平均随机权重（SWA）可以显着提高 FL 中的泛化能力并有助于缩小与中央模型的差距，在各种基准视觉数据集和任务上都表现出良好的效果。

Mar, 2022

多类别总变差聚类

本文提出了一种不依赖于递归的多类总变分聚类算法框架，与最先进的 NMF 方法相比，结果大大优于以前的总变分算法。

Jun, 2013

联邦学习中的公平模型学习组

本文介绍了一种新的联邦学习公平性指标 --minmax 小组公平性，并提出了一种名为 FedMinMax 的算法解决该问题，实验结果表明该算法在不同联邦学习设置下实现了小组公平性和中心化学习算法的性能保证。

Oct, 2021

异构环境下的健壮联邦学习

在 Federated Learning 中，我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上，我们提出了一个优化算法来解决该问题，并获得了比非拜占庭鲁棒算法更好的估计误差。

Jun, 2019

基于直方图的最小方差抽样的联邦 XGBoost 用于联邦表格数据

在这篇研究论文中，我们评估了一种使用 Minimal Variance Sampling (MVS) 的基于直方图的联邦 XGBoost 模型，证明了我们的模型在联邦环境中能够通过提高准确性和回归误差来改进性能，并在一组新的联邦表格数据集上取得了优秀的本地和全局性能。联邦 XGBoost 在一半的研究案例中也胜过了集中式 XGBoost。

May, 2024