FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新
提出了一种叫做联邦学习的分散式学习结构,该结构可以在物联网设备中实现机器学习,通过处理来自不同客户端的数据,以预测未来事件。此方法可解决传统机器学习中遇到的通信开销、隐私泄露和安全性等问题,同时也避免了中央服务器的使用。本文讨论了在客户端资源有限的情况下实施联邦学习的挑战和应用。
Feb, 2020
本文提出了FedAMP方法,采用联邦关注的消息传递,在客户端之间建立两两合作,使具有相似数据的客户端更好地协作,进而解决非独立同分布数据对联邦学习的困难。实验结果表明,FedAMP方法在标准数据集上有着优越的性能。
Jul, 2020
本文提出一种名为 Federated dropout(FedDrop) 的联邦式学习方案,该方案利用经典的dropout算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时,表现出比传统的FL和具有相同概率的子网的FL方案更好的效果。
Sep, 2021
本文提出了一种基于性能和准确性反馈的动态子模型技术Invariant Dropout,以解决联合学习中由于部分设备性能低下而导致的性能瓶颈问题,并使用五个真实的移动客户端进行了评估,显示Invariant Dropout可以最大程度地提高1.4%的准确性,同时减轻了残留者的性能瓶颈。
Aug, 2022
本文通过在大量物联网和边缘设备网络上系统地进行广泛实验,重点关注异构情况,以探究在设备上实施联合学习的可行性,并呈现了其现实世界的特征,包括学习性能和操作成本,为研究人员和从业者提供有价值的见解,促进联邦学习的实用性,并帮助改进现有的联邦学习系统设计。
May, 2023
在这篇论文中,我们提出了一种基于贝叶斯推理的自适应辍学方法(FedBIAD),通过逐行将局部模型权重转化为概率分布,并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行,从而在减少上行通信成本的同时提高准确性,理论分析证明FedBIAD的平均泛化误差的收敛速度是最小最大的,甚至在非独立同分布数据上可以提高2.41%的准确率,并最多缩短72%的训练时间。
Jul, 2023
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约50%的计算和通信延迟。
Sep, 2023