FedCME: 处理联邦学习中的数据异质性的客户端匹配和分类器交换
本篇论文中,我们介绍了一种基于移动边缘计算,利用分布式客户端数据和计算资源进行高性能机器学习模型训练的框架,该框架扩展了联邦学习的分布式学习框架,以实现与实际基于蜂窝网络的异构客户端的协作;我们的新 FL 协议(FedCS)通过解决具有资源限制的客户端选择问题来提高训练效率,在公开可用的大规模图像数据集上进行实验,实验结果表明,与原始 FL 协议相比,FedCS 能够在显著缩短的时间内完成训练。
Apr, 2018
在本文中,我们提出了一种名为 FedCOME 的共识机制,通过在服务器端对客户端的梯度进行微调,保证了每轮训练后每个客户端的风险减少;我们还设计了一种新的客户端采样策略,将共识机制推广到部分参与的联邦学习场景,有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。
Nov, 2023
本文提出一种名为 FedMR 的新颖、高效的联邦学习模式,通过重新组合每个客户端的收集本地模型的每一层来获得新的模型进行本地训练,从而实现更好的推理性能和客户端隐私保护。实验结果表明,与现有的联邦平均(FedAvg)方法相比,FedMR 在更快的时间内显著提高了推理准确性。
May, 2023
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
个性化联合持续学习(PFCL)的问题是一个分布式客户端组,每个客户端都有一系列的本地任务和任意数据分布,通过一个中央服务器合作训练每个客户端的个性化模型,而这个模型需要在所有本地任务中表现良好。我们提出了一个名为联合记忆增强 FedMeS 的新型 PFCL 框架,以解决客户漂移和灾难性遗忘的挑战。在 FedMeS 中,每个客户端使用少量本地内存来存储来自先前任务的样本,并利用这些信息来同时:1) 校准训练过程中的梯度更新;2) 执行基于 KNN 的高斯推断以促进个性化。FedMeS 被设计为任务无关的,这意味着相同的推断过程适用于所有任务的样本,以取得好的性能。FedMeS 在理论上进行了分析并进行了实验评估。实验证明,在各种数据集、任务分布和客户端数量的组合中,它在平均准确性和遗忘率方面优于所有基线模型。
Apr, 2024
采用新的真实数据分布,提出一种名为 FedIIC 的隐私保护框架,该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差,并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明,FedIIC 在处理两种耦合问题的同时,具有更优越的性能。
Jun, 2022
本研究提出了 FedDM,旨在通过多个本地替代函数来构建全局训练目标,从而减少通信轮数,改善模型质量,并在保留差分隐私的同时证明该算法的有效性。
Jul, 2022
提出了基于特征提取器共享的异构个性化联邦学习方法 (pFedES),该方法在不同客户端的本地模型中引入小型同质特征提取器,通过迭代学习方法进行训练,实现全局泛化知识和本地个性化知识的交换和共享,其理论上证明了 pFedES 能够在墙时收敛。在两个真实数据集上的广泛实验中,与六种最先进的方法相比,pFedES 构建了最准确的模型,同时通信和计算成本较低,与最佳基准相比,测试准确性提高了 1.61%,通信和计算成本分别降低了 99.6% 和 82.9%。
Nov, 2023
本文提出了一种新的联邦学习范例,名为联邦互助学习(FML),以处理三种不同类型的异质性,允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。
Jun, 2020
通过引入混合专家方法,我们提出了一种新颖的模型异构个性化联邦学习算法(FedMoE),用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能力,并通过信息聚合实现跨客户端的模型参数融合。
Feb, 2024