GPFL: 基于梯度投影的客户端选择框架用于高效联邦学习
提出了一种名为 GPFL 的新的个性化联邦学习方法,该方法在每个客户端上同时学习全局和个性化的特征信息,并在六个数据集上展示了 GPFL 在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性,此外,GPFL 能够减轻过拟合问题,准确率比基线方法提高了 8.99%。
Aug, 2023
pFedGP 基于高斯过程和深层核学习,旨在解决在低数据环境下学习跨客户有效性的挑战,通过学习跨客户的共享核函数以及个性化的 GP 分类器,在多个基准测试中实现了高度准确的状态,并在可靠性方面显着优于基准方法。
Jun, 2021
本文提出一种个性化图形联邦学习(PGFL)框架,通过分布式连接的服务器和它们的边缘设备协作学习设备或集群特定的模型,同时维护每个个体设备的隐私,通过利用不同模型之间的相似性,即使在数据分布和不成比例的数据集的情况下也提供更相关的体验。在此基础上,我们研究了一个变量 PGFL 实现,利用差分隐私,特别是零集中差分隐私,其中一个噪声序列扰乱模型的交换。我们的数学分析表明,所提出的支持隐私保护的 PGFL 算法在线性时间内收敛于每个集群的最优集群特定解。同时,我们的分析表明,利用集群之间的相似性会导致另一种输出,其与原始解的距离被限制,这个限制可以通过修改算法的超参数来调整。最后,我们还通过使用合成数据和 MNIST 数据集进行回归和分类的数值实验来检验所提出的 PGFL 算法的性能。
Jun, 2023
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标,从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估,我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。
Jun, 2024
本文提出了一种名为 Global-Regularized Personalization (GRP-FED)的方法,利用全局和本地模型各自的优势来有效处理分散客户端的长尾数据不均衡问题,实验结果表明,GRP-FED 在 MIT-BIH 和 CIFAR-10 数据集上表现出更好的性能和更好地解决了客户端不平衡问题。
Aug, 2021
本研究提出了一种新的通信高效的联邦学习(FL)框架 FedCliP,采用自适应学习算法确定参与模型训练的客户端,通过优化算法减少不必要的通信开销。实验结果显示该框架在 MNIST、FMNIST 和 CIFAR-10 等数据集上优于目前的 FL 框架。
Jan, 2023
联邦学习是机器学习领域中迅速发展的领域,允许数据在多个分散设备上进行训练。客户端选择是整个系统性能的关键因素。本调查综述了联邦学习中最先进的客户端选择技术,包括它们的优点、局限性以及需解决的挑战和开放问题。我们涵盖了传统的选择技术,例如随机选择,其中选择所有或部分随机的客户端进行训练。我们还涵盖了面向性能和面向资源的选择,适用于资源受限和异构网络。我们还讨论了客户端选择在模型安全增强中的使用。最后,我们讨论了动态约束和异构网络中的客户端选择相关的开放问题和挑战。
Nov, 2023
本文提出了一种公平性感知的梯度稀疏化方法,以及一种自适应梯度稀疏化技术,能够在控制梯度稀疏度的情况下,最小化整体训练时间,实验结果表明,相对于传统方法,通过本文所提方法,能够在有限的训练时间内提升 40% 的模型准确度。
Jan, 2020
个性化联邦学习(PFL)在每个客户端寻找最优个性化模型,我们提出了一种分布式的个性化联邦学习(DPFL)框架,通过引入随机梯度推送和部分模型个性化,实现了线性分类器的个性化,达到了更好的收敛速度。
May, 2024
FedGCS 是一种创新的生成式客户端选择框架,它通过将客户端选择过程重新定义为生成任务来有效地编码丰富的决策知识,并利用梯度优化在连续表示空间中搜索最佳客户端选择,并通过波束搜索生成最终的最优客户端选择,从而在模型性能、延迟和能源消耗方面同时优化,超过了传统方法的综合性、可推广性和效率。
May, 2024