原型有助于联邦学习:朝着更快的收敛方向
在分布式机器学习技术中,联邦学习(FL)要求客户端在边缘服务器上协同训练共享模型,而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性,并通过实验结果表明,在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比,我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升,而且在异质设置下具有快速收敛速度。
Jul, 2023
本文提出了一种轻量级框架,使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习;我们设计了一种基于原型的对比学习(FedPCL)方法,以原型为共享信息进行知识传递,从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023
IBM Federated Learning 提供了联邦学习的基础设施和协调,可以设计和运行联邦学习作业,从而将范围从集中式扩展到联邦机器学习,从而在最初阶段将学习曲线降至最低,同时也提供了在不同计算环境下部署和设计自定义融合算法的灵活性。
Jul, 2020
提出了一种名为 Federated Multi-Level Prototypes (FedMLP) 的新型联邦学习框架,以应对异构数据分布和动态任务的联邦学习需求,并引入原型和语义原型来缓解概念漂移问题。
Dec, 2023
该研究提出了一种新的算法,为参与联邦学习训练的客户分配自适应聚合权重,识别出最有利于特定学习目标的数据分布,实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现,强调了客户选择的重要性。
Feb, 2024
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023