该研究旨在解决联邦学习过程中的梯度偏差和目标分布方面的问题,通过提出一个无偏梯度聚合算法和控制的元更新过程,实现更快的收敛速度和更高的准确度,具有广泛的适用性和实验验证重要性。
Oct, 2019
在本文中,我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法,通过使用新型协方差矩阵预处理器,我们的方法在理论上提供了收敛保证,并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。
Sep, 2023
传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠,本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法,有效提升了收敛速度。
Feb, 2024
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
本文通过提出一种基于联邦平均的高效 FL(FedFog)算法,结合一种新型的面向网络的 FL 优化问题,提高了资源利用率并在保证学习精度的同时,通过采用用户聚合策略,缓解慢用户的影响,并减小了时间开销。对多项真实 FL 任务的数值结果进行了广泛的理论收敛验证和实际应用展示。
Jul, 2021
本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题,使得此算法成为分布式学习架构中所有特性最优秀的算法框架,并且具有通信效率。
May, 2020
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与 FedAvg 进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响,指出自适应优化方法虽然可以加速模型收敛,但可能导致解决方案出现偏差,为此提出了纠正技术以克服这种不一致性,并在现实联合训练任务上进行了广泛实验,结果表明与没有局部自适应性的基线相比,所提出的算法可以实现更快的收敛和更高的测试准确性。
Jun, 2021
本篇论文以三个方向推动本地方法的理论基础:(1)建立 FedAvg 的尖锐界限;(2)提出了 FedAvg 的有原则的加速方法 FedAc;(3)研究了扩展经典平滑设置的 Federated Composite Optimization 问题。
Jan, 2024
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020