本研究介绍了FedProx框架,用于解决联合学习网络中异构性的问题,并提供了实现更稳健收敛的收敛保证和效果验证。
Dec, 2018
本文中,我们分析了在非独立同分布数据上的FedAvg算法的收敛性,并在强凸和平滑问题上建立起一个O(1/T)的收敛率,研究了部分设备参与的不同平均方案,结果表明数据的异质性会降低收敛速度,并提供了一个必要条件,即遇到非独立同分布数据时,学习率需要衰减否则结果将偏离最优解。
Jul, 2019
本文旨在研究在异构样本上进行非凸优化的联邦分布式学习,具体而言,我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用,并证明其在广义的非凸和条件下的收敛性与最优性.
Oct, 2019
该研究提出了一种名为FedLaAvg的简单分布式非凸优化算法,用于解决在移动环境下采用联邦学习时客户端不连续可用的问题,并证明了其达到了收敛速度为$ O(E^{1/2}/(N^{1/4}T^{1/2}))$的水平。
Feb, 2020
本研究提出了联邦学习的自适应优化方法,包括Adagrad,Adam和Yogi,并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用,并表明自适应优化器的使用可以显着提高联邦学习的性能。
本研究考虑分布式学习中的标准优化方法FedAvg,对比了多种具有良好收敛性质的二阶分布式方法,发现FedAvg表现出乎意料好,提出了一种使用二阶局部信息和全局线性搜索的新变种。
Sep, 2021
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与FedAvg进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
在本文中,我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法,通过使用新型协方差矩阵预处理器,我们的方法在理论上提供了收敛保证,并在i.i.d.和非i.i.d.设置下取得了最先进的性能。
Sep, 2023
本篇论文以三个方向推动本地方法的理论基础:(1)建立FedAvg的尖锐界限;(2)提出了FedAvg的有原则的加速方法FedAc;(3)研究了扩展经典平滑设置的Federated Composite Optimization问题。
Jan, 2024