FedMR: 基於模型重組的聯邦學習
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与 FedAvg 进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022
本文提出了基于本地持续训练策略的联邦学习算法,通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练,从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中,显著提高了联邦模型的初始性能。
May, 2020
通过对 FedAvg 在多任务线性表示设置下的形式化研究,我们发现 FedAvg 之所以能够产生良好的泛化效果,是因为能够通过本地更新利用客户数据分布之间的差异性来学习客户任务的公共数据表示,我们还提供了实证证据,证明了 FedAvg 在具有异构数据的联合图像分类中的表示学习能力。
May, 2022
本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法 CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
本文提出了一种基于梯度遮蔽平均的联邦学习方法,该方法通过学习恒定的不变机制来忽略异构性数据中不同的机制,避免因为主导客户端的偏见导致的信息损失和泛化性能不佳,实验证明该方法在非独立同分布数据集上提供了一致的改进。
Jan, 2022
在本文中,我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法,通过使用新型协方差矩阵预处理器,我们的方法在理论上提供了收敛保证,并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。
Sep, 2023
提出了一种叫作 FedPrune 的系统,通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题,并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能,并与 Federated Averaging 相比,FedPrune 提供了更好的鲁棒性和公平性。
Oct, 2021
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
Feb, 2024
本研究提出一种名为联邦分类器平均(FedClassAvg)的个性化联邦学习方法,通过聚合分类器权重以增强特征空间的决策边界来使得有不同神经网络架构、实现非独立同分布数据(non-iid)学习任务的客户端可以学习稀缺标签,同时应用本地特征表示学习来稳定决策边界并利用局部特征提取能力提升客户端的表现,相较于已有方法仅要求客户端通信少量全连接层,因此高度通信效率,而且不需要额外的优化问题和计算开销,且在异构性个性化联邦学习任务方面表现优于现有最先进算法。
Oct, 2022
本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题,使得此算法成为分布式学习架构中所有特性最优秀的算法框架,并且具有通信效率。
May, 2020