LEFL:联邦学习中的低熵客户样本选择
本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案,在受通信限制的情况下,通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型,实现了在保证性能的同时显著减少了通信量,为联邦学习提供了一种新的通信效率优化方案。
Jul, 2020
本文通过一种新的客户端子采样方案解决联邦学习中客户端—主节点通信的瓶颈问题,并提供了适用于分布式随机梯度下降和联邦平均等方法的简单算法,可优化客户端参与度,且不危害客户隐私,从而在减少通信开销的同时实现了准确的全局模型更新。
Oct, 2020
本研究提出基于聚类抽样的客户端选择方法,解决联邦学习中存在的采样偏差、通信效率和稳定性问题,并通过一系列实验表明,该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。
May, 2021
本文通过研究噪声客户端带来的问题,并量化了其对不同层学习的影响,提出了一种名为 Fed-NCL 的框架来进行鲁棒性联邦学习,并通过鲁棒的层级聚合和标签修正来解决由噪声客户端引起的数据异质性问题,实验结果表明,该算法提高了带有噪声客户端的各种最新系统的性能。
Jun, 2021
本研究提供了一个理论框架,量化了客户端抽样方案以及客户端异质性对联邦优化的影响,并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。
Jul, 2021
提出了一种叫作FedPrune的系统,通过剪枝全局模型来解决Federated learning中的系统异构和统计异构所引起的问题,并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能,并与Federated Averaging相比,FedPrune提供了更好的鲁棒性和公平性。
Oct, 2021
该研究提出了一种新颖的学习率自适应机制用于解决联合学习中面临的非独立同分布数据样本训练的优化难题,并在多个图像和文本分类任务上进行了广泛的实验证明其有效性。
Jan, 2023
本篇论文提出了一种名为FedCNI的方法,通过使用噪声鲁棒局部求解器和强健的全局聚合器,在Federated learning的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战,并在混合异构FL场景中实现了比现有技术更好的性能。
Apr, 2023
本文提出了一种新颖的数据均匀采样策略用于联邦学习中,通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习,同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小,实验结果表明FedSampling可以有效提高联邦学习的性能。
Jun, 2023