本研究提出了一种称为联邦优化的新的分布式机器学习设置,其中优化定义的数据分布在大量节点之间,通过少量通信轮次训练高品质集中模型,本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点,并为未来的联邦优化研究提供了借鉴。
Oct, 2016
本研究提出了联邦学习的自适应优化方法,包括 Adagrad,Adam 和 Yogi,并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用,并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
本论文旨在提供针对联邦优化算法的具体指导和实用实现,重点关注进行有效模拟以推断实际效果,并鼓励研究人员设计适用于各种实际应用的联邦学习算法。
Jul, 2021
介绍了一种分布式机器学习的新技术 - 联邦优化。该技术针对数据分布不均、节点数量极大的情况,通过让本地的移动设备参与计算,以更新全局模型。该研究提出了一种适用于该技术的新算法,并展示了其在实验中的优异表现。
Nov, 2015
本文提出了一种快速收敛的联合学习算法 FOLB,通过智能抽样优化模型训练速度,处理设备的通信和计算异质性,实验结果改善了训练模型的准确率、收敛速度和稳定性。
Jul, 2020
本文介绍联邦学习作为一种分布式机器学习方法,提出自适应联邦优化算法和其他一些想法,并通过实验展示了在性能上的改进。
Nov, 2022
本文提出了一种异步在线联邦学习(ASO-Fed)框架,在其中,边缘设备使用连续的流本地数据进行在线学习,而中央服务器从客户端聚合模型参数,我们的框架以异步方式更新中央模型,以应对异构边缘设备的计算负载变化、滞后或丢失的挑战,我们在模拟基准图像数据集和三个真实的非独立同分布数据集上进行了大量实验,结果展示了该模型的快速收敛和良好的预测性能。
Nov, 2019
这篇论文提出了第一个联邦条件随机优化算法(FCSG),它使用条件随机梯度估计器和基于动量的算法(FCSG-M)来解决联邦学习中的非凸条件随机优化问题。通过方差减少设计了一种加速算法(Acc-FCSG-M),以达到最佳样本和通信复杂度, 并在不同任务上的广泛实验结果验证了这些算法的效率。
Oct, 2023
本研究介绍了 FedProx 框架,用于解决联合学习网络中异构性的问题,并提供了实现更稳健收敛的收敛保证和效果验证。
Dec, 2018
我们提出了一种异步联邦学习算法,通过减少通信次数来降低等待时间和整体网络通信,在强凸目标函数上提供了严格的理论分析并提供了模拟结果。通过添加高斯噪声,我们展示了我们的算法如何变得不同 ially private - 新的定理表明,聚合的高斯噪声显着降低了。