May, 2024
个性化联邦学习中基于能力异质性的选择性知识共享
Selective Knowledge Sharing for Personalized Federated Learning Under
Capacity Heterogeneity
TL;DRPa3dFL是一个增强容量异构模型的新型框架，通过解耦和选择性地在容量异构模型之间共享知识，提高了本地模型的性能。通过将模型的每个层分解为通用参数和个性参数，并保持通用参数在客户端之间的统一大小并进行直接平均聚合，然后使用可学习的嵌入通过超网络为客户端生成大小变化的个性参数，最后通过自注意模块通过聚合客户端嵌入来实现个性参数的隐式聚合。通过在三个数据集上进行的广泛实验，我们的研究结果表明Pa3dFL在不同的异构设置下始终优于基准方法。此外，与基准方法相比，Pa3dFL表现出竞争性的通信和计算效率，突显了它在不利系统条件下的实用性和适应性。