FedSplit:一种用于快速联邦优化的算法框架
研究调查了 SplitFed 在模型分割点的数据丢失健壮性,通过分析在不同点(浅分割或深分割)处分割模型对最终全局模型性能的影响,探讨了 SplitFed 的各种参数聚合策略。在人类胚胎图像分割任务上进行的实验表明,深分割点具有显著优势。
May, 2024
Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.
Dec, 2023
介绍了一种分布式机器学习的新技术 - 联邦优化。该技术针对数据分布不均、节点数量极大的情况,通过让本地的移动设备参与计算,以更新全局模型。该研究提出了一种适用于该技术的新算法,并展示了其在实验中的优异表现。
Nov, 2015
我们提出了两种新的基于异步实现的算法 FedDR 和 asyncFedDR 用来解决联邦学习中的基本非凸复合优化问题,它们可以处理统计和系统异质性,并通过异步更新方式与最优通讯复杂度匹配。
Mar, 2021
本研究提出了一种称为联邦优化的新的分布式机器学习设置,其中优化定义的数据分布在大量节点之间,通过少量通信轮次训练高品质集中模型,本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点,并为未来的联邦优化研究提供了借鉴。
Oct, 2016
本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势,在无线网络中将多工器并行更新和灵活的分裂相结合,并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明,该算法在找到帕累托最优解方面优于其他算法,并且所提出的 HFSL 的解支配 FL 的解。
Sep, 2022
本论文的研究目标是设计一种算法,以实现在异构客户端之间利用相似性的好处,并在任意异质性(最多对数因素)下恢复 Minibatch Mirror-prox 性能的联邦极小极大问题优化算法。主要思想是将(i)搭脚手架(一种在凸优化中跨客户进行方差减少的算法)与(ii)催化剂(一种基于修改目标的加速框架)结合起来,以实现降低对异构性的最差依赖性和加速收敛而不损害客户漂移。实验证明该算法达到了我们的目标。
Feb, 2021
本文提出了一种名为 edblo 的联邦交替随机梯度方法,用于解决复杂的嵌套双层规划问题,并在异构数据情况下建立了收敛性分析,同时提出了多种升级方法,包括联邦超梯度计算和方差缩减,实验结果表明其在超参和超表示学习和最小化最大化规划中具有实际效益。
May, 2022