NIPSNov, 2015

联邦优化：超越数据中心的分布式优化

PDF
TL;DR介绍了一种分布式机器学习的新技术 - 联邦优化。该技术针对数据分布不均、节点数量极大的情况，通过让本地的移动设备参与计算，以更新全局模型。该研究提出了一种适用于该技术的新算法，并展示了其在实验中的优异表现。
distributed optimizationmachine learningfederated optimizationcommunication efficiencymobile devices
发现论文，激发创造
  • 联邦优化：面向设备智能的分布式机器学习

    本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。

    Oct, 2016

  • 联邦优化指南

    本论文旨在提供针对联邦优化算法的具体指导和实用实现，重点关注进行有效模拟以推断实际效果，并鼓励研究人员设计适用于各种实际应用的联邦学习算法。

    Jul, 2021

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • 当去中心化优化遇上联邦学习

    本文系统地研究了分散式学习对于联邦学习的分布式最优化的机遇和挑战。

    Jun, 2023

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • 联邦学习：挑战、方法和未来方向

    本文介绍联邦学习的独特特征和挑战，提供当前方法的概述，并概述了与各种研究社区相关的几个未来方向。

    Aug, 2019

  • 面向网络优化的雾计算分布式学习

    本文提出了一种网络感知分布式学习优化方法，使设备在成本和效益之间进行数据传输和处理决策，并通过测试数据集证明算法能够显著提高网络资源利用效率，同时不损害模型学习准确性。

    Apr, 2020

  • 不可靠和资源受限的蜂窝无线网络中的联邦学习

    本文提出一种适用于蜂窝无线网络的联合学习算法，证明了其收敛性，并提供了最优调度策略，同时研究了局部计算步骤和通信步骤对算法收敛的影响。

    Dec, 2020

  • 联邦学习：提高通信效率的策略

    本文探讨联邦学习中的机器学习算法以及通过结构化更新和草图更新的方式来降低通信成本，实验结果表明这两种方法可以将通信成本降低两个数量级。

    Oct, 2016