AAAINov, 2022
FedGrad: 分散式機器學習中的優化
FedGrad: Optimisation in Decentralised Machine Learning
Mann Patel
TL;DR本文介绍联邦学习作为一种分布式机器学习方法,提出自适应联邦优化算法和其他一些想法,并通过实验展示了在性能上的改进。
Abstract
federated learning is a machine learning paradigm where we aim to train
machine learning models in a →
发现论文,激发创造
自适应联邦优化
本研究提出了联邦学习的自适应优化方法,包括 Adagrad,Adam 和 Yogi,并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用,并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
联邦优化:面向设备智能的分布式机器学习
本研究提出了一种称为联邦优化的新的分布式机器学习设置,其中优化定义的数据分布在大量节点之间,通过少量通信轮次训练高品质集中模型,本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点,并为未来的联邦优化研究提供了借鉴。
Oct, 2016
联邦优化:超越数据中心的分布式优化
介绍了一种分布式机器学习的新技术 - 联邦优化。该技术针对数据分布不均、节点数量极大的情况,通过让本地的移动设备参与计算,以更新全局模型。该研究提出了一种适用于该技术的新算法,并展示了其在实验中的优异表现。
Nov, 2015
联邦学习遇到多目标优化
本文提出了一种将联邦学习设计为多目标优化问题的新算法 FedMGDA+,该算法可保证收敛于 Pareto 稳态解,以确保在保护用户隐私的同时,确保公平性和鲁棒性。实验结果表明,FedMGDA + 相对于现有的联邦学习算法具有更好的性能表现。
Jun, 2020
联邦机器学习和集中式机器学习的比较评估
本文讨论分布式数据的非 IID 性质及其对联邦学习的训练造成的影响,同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较,并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外,本文证明了在模型大小不太大的情况下使用联邦学习框架具有成本优势。
Feb, 2022