介绍了一种分布式机器学习的新技术 - 联邦优化。该技术针对数据分布不均、节点数量极大的情况,通过让本地的移动设备参与计算,以更新全局模型。该研究提出了一种适用于该技术的新算法,并展示了其在实验中的优异表现。
Nov, 2015
本文系统地研究了分散式学习对于联邦学习的分布式最优化的机遇和挑战。
Jun, 2023
本文介绍联邦学习作为一种分布式机器学习方法,提出自适应联邦优化算法和其他一些想法,并通过实验展示了在性能上的改进。
Nov, 2022
本研究提出了联邦学习的自适应优化方法,包括 Adagrad,Adam 和 Yogi,并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用,并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
本研究提出了一种称为联邦优化的新的分布式机器学习设置,其中优化定义的数据分布在大量节点之间,通过少量通信轮次训练高品质集中模型,本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点,并为未来的联邦优化研究提供了借鉴。
Oct, 2016
提出了一种新的异步联邦优化算法,用于在海量边缘设备上进行培训,具有近线性收敛全局最优点的证明,可用于强凸和一类非凸问题,实验证明在各种应用中算法收敛快且容忍陈旧。
Mar, 2019
本文介绍联邦学习的独特特征和挑战,提供当前方法的概述,并概述了与各种研究社区相关的几个未来方向。
Aug, 2019
此论文使用多目标进化算法优化神经网络模型的结构,以同时减少通信成本和全局模型测试误差,提高联邦学习的学习性能和效率。
Dec, 2018
研究了混合异构性如何影响联邦优化,通过调查服务器端优化表明,自适应地最大化梯度多样性在服务器更新方向上可以帮助缓解混合异构性的潜在负面影响,引入了具有理论保证的新型基于梯度的优化器 FedAWARE,通过在异构联邦设置中进行大量实验表明,我们的提议优化器可以显著提升不同程度的混合异构性下联邦学习的性能。
Oct, 2023
本研究介绍了 FedProx 框架,用于解决联合学习网络中异构性的问题,并提供了实现更稳健收敛的收敛保证和效果验证。