Dec, 2023
FedMS: 带有稀疏激活基模型的联邦学习
FedMS: Federated Learning with Mixture of Sparsely Activated Foundations Models
Panlong Wu, Kangshuo Li, Ting Wang, Fangxin Wang
TL;DR提出了一种名为 FedMS 的新型两阶段联邦学习算法，使用全局专家和本地专家构建混合基准模型（MoFM），设计了一个门控神经网络插入门适配器来在第二阶段的每一轮通信中进行聚合，并使用一种新型 SAL 算法来适应具有有限计算资源的边缘计算场景，实验证明 FedMS 在默认设置下超过其他 SOTA 基准模型的性能达到 55.25% 的提升。