可证明的个性化和强健联邦学习
本文提出了一种自适应个性化联邦学习算法,采用局部和整体模型混合的方法来提高模型的个性化能力,并使用通信高效的最优化方法来协同学习个性化模型,实验证明了该算法的有效性与泛化理论的正确性。
Mar, 2020
本研究考虑了最近由Hanzely和Richtarik (2020)提出的个性化联邦学习的优化问题,并为该模型的通讯复杂度和本地预测通用复杂度建立了第一个下界。我们设计了几种最优方法来匹配这些下界,并通过大量的数字实验展示了我们的方法的实用优越性。
Oct, 2020
本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
本文研究对个性化Federated Learning进行优化,提出了通用的优化器,应用于现有的针对个性化Federated Learning的目标函数,包括局部SGD、加速坐标下降/加速SVRCD等,得到适用于文献中所有基于强凸个性化FL模型的普适优化理论,提高了通信效率和本地计算效率。
Feb, 2021
研究分布式机器学习系统,并基于修正的随机优化算法实现私人级联学习,在保证局部模型私密性的同时,与全局模型进行协调,提升了准确性和隐私保护的平衡。
Feb, 2022
研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法,并通过各种基准测试和消融实验证明其优于现有方法,不仅计算效率更高,而且收敛速度高达34.2%。
May, 2022
本文设计了以用户为中心的聚合规则,基于可用的梯度信息,为每个联邦学习客户端生成个性化模型,并得出了一种课通信高效的变体,以优于流行的个性化联邦学习基线的平均正确性,最差节点性能和训练通信开销。
Apr, 2023
本文提出的基于分层贝叶斯模型和变分推断的个人化联邦学习算法,引入全局模型作为潜在变量,以捕捉不同客户端之间的公共趋势,使用变分期望最大化技术训练模型并得出包含客户端参数不确定性和本地模型偏差的置信度评估,进而对客户端参数进行加权,优化全局模型的正则化效果,在多个数据集上进行了大量实证研究并证明了其优越性。
May, 2023
在个性化联邦学习领域,当一个联邦模型已经训练和部署,并且有一个未标记的新客户端加入时,为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战,将自适应风险最小化技术扩展到无监督个性化联邦学习设置中,并提出我们的方法FedTTA。我们通过使用代理正则化和熵提前停止调整来改进FedTTA,进而提出了两种简单而有效的优化策略。此外,我们还针对FedTTA设计了一种专门的知识蒸馏损失,以解决设备异构性问题。针对十一个基准测试,通过对五个数据集进行大量实验,证明了我们提出的FedTTA及其变种的有效性。
Jul, 2023