个性化联邦学习的分散指导协作
本文提出了一种名为 DFedAlt 的个性化联邦学习框架,采用分散的部分模型训练方法,取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数,在点对点的方式构建局部个性化模型,同时采用局部 SAM(Sharpness Aware Minimization)优化器来更新共享参数,从而有效地解决了模型共享一致性不足和通信成本过高等问题。
May, 2023
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标,从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估,我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。
Jun, 2024
提出了一种基于去中心化通信协议的个性化联邦学习框架,利用个性化稀疏掩码为每个用户的本地模型进行定制,进一步节省通信和计算成本,并在不同复杂度的本地客户端上达到更好的个性化性能。
Jun, 2022
基于不对称拓扑结构和 Push-Sum 协议,DFedSGPSM 算法以解决共识优化问题为目标,结合 Sharpness Aware Minimization(SAM)优化器和本地动量,提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下,DFedSGPSM 算法以 O (1/√T) 的收敛速率收敛于全局最优解,而更好的拓扑连接性能会得到更严格的上界。在 MNIST、CIFAR10 和 CIFAR100 数据集上进行的大量实验表明,与最先进的优化器相比,我们的算法具有更优越的性能。
Oct, 2023
本文提出一种个性化图形联邦学习(PGFL)框架,通过分布式连接的服务器和它们的边缘设备协作学习设备或集群特定的模型,同时维护每个个体设备的隐私,通过利用不同模型之间的相似性,即使在数据分布和不成比例的数据集的情况下也提供更相关的体验。在此基础上,我们研究了一个变量 PGFL 实现,利用差分隐私,特别是零集中差分隐私,其中一个噪声序列扰乱模型的交换。我们的数学分析表明,所提出的支持隐私保护的 PGFL 算法在线性时间内收敛于每个集群的最优集群特定解。同时,我们的分析表明,利用集群之间的相似性会导致另一种输出,其与原始解的距离被限制,这个限制可以通过修改算法的超参数来调整。最后,我们还通过使用合成数据和 MNIST 数据集进行回归和分类的数值实验来检验所提出的 PGFL 算法的性能。
Jun, 2023
本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术,将受训练意愿不同的客户纳入考虑,以提高收敛性能。结果表明,该算法可以在各种条件下优于替代个性化方法。
Aug, 2022
提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案,通过动态聚合逐渐减少模型参数,从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低,并在测试准确性上明显优于 DFL 基准。
Apr, 2024
使用堆叠泛化的新型个性化方法,在保护隐私的情况下,直接发送模型来训练元模型,并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术,从而创建更适合个体客户数据的多个模型,并通过多方面评估每位客户对联邦的贡献。
Apr, 2024
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
pFedGP 基于高斯过程和深层核学习,旨在解决在低数据环境下学习跨客户有效性的挑战,通过学习跨客户的共享核函数以及个性化的 GP 分类器,在多个基准测试中实现了高度准确的状态,并在可靠性方面显着优于基准方法。
Jun, 2021