连接低损耗子空间的个性化联邦学习
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
Federated learning aims to protect data privacy, and this paper proposes FedSplit, a personalized federated learning framework addressing the challenge of data heterogeneity by splitting hidden elements into shared and personalized groups, optimizing with a novel objective function. Additionally, factor analysis is introduced to decouple hidden elements, resulting in a practically implemented model referred to as FedFac, which demonstrates superior prediction performance compared to other state-of-the-art federated learning methods on real datasets.
Dec, 2023
本文提出了一种个性化的联邦学习方法,通过每个客户只与相关客户联合训练模型,实现客户自定义目标分布的最优加权模型组合,且不需要知道任何数据分布或客户相似性的先验知识,该方法在多个联邦学习场景和数据集下表现优异,同时也支持个性化的迁移学习。
Dec, 2020
通过利用深度神经网络从非表格数据(如图像和文本)提取高质量特征向量来提出一种基于本地记忆的个性化机制,该机制与基于全局模型的交叉训练相结合,使用局部k- 近邻模型实现个性化,并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。
Nov, 2021
个性化联邦学习中的数据异质性是一个重要问题,目前的方法未能根据每个本地客户端的数据特征定制合作方式,导致聚合结果不理想。为解决这一问题,我们提出了一种基于算法展开的个性化联邦学习框架 Learn2pFed,使每个客户端能够自适应地选择其本地模型参数中应参与协作训练的部分。Learn2pFed 的关键创新之处在于通过算法展开方法,将每个本地模型参数的参与程度作为可学习参数进行优化。实验证明 Learn2pFed 在回归、预测和图像分类等多个任务中显著优于以往的个性化联邦学习方法。
Jan, 2024
本文介绍了 FedPer,一种基本 + 个性化层式的联邦深度前馈神经网络训练方法,旨在对抗数据异质性的负面影响,提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。
Dec, 2019
提出了一种名为联邦子模型学习的新的联邦学习框架,允许客户端只下载所需的完整模型的部分(即子模型)并上传子模型更新,同时采用私有集合联合协议作为基石的安全联邦子模型学习方案,通过随机响应、安全聚合和 Bloom 过滤器等属性,赋予每个客户定制化的近似不可否认性,保护其隐私数据,以电子商务推荐方案为例,验证了该方案的可行性和优越性。
Nov, 2019
本文提出了一种新的个性化联邦学习框架来解决异构医疗数据在多个医院之间协作训练神经网络时的降级问题,并设计了差异性稀疏正则化器和降低计算成本的方法来提高计算效率,最后通过实验证明该方法可以获取最佳模型性能和高达 60%的通信效率改进。
Jun, 2023