Jan, 2020

FedDANE：一种联邦牛顿型方法

PDF
TL;DR本文介绍了 FedDANE，一种从分布式优化的方法 DANE 基础上，为应对联邦学习的现实约束而提出的一种优化方法。作者提供了该方法应用于凸性和非凸性函数时的收敛性保证，并通过从合成和真实数据集上的实验模拟，将 FedDANE 与 FedAvg 和 FedProx 的表现进行了类比，发现其性能不如基线模型，作者归因于设备参与率低和设备之间的统计异质性，并提出了一些未来工作的方向。
federated learningoptimizationfeddanedistributed devicesconvergence guarantees
发现论文，激发创造
  • 带双重正则化漂移校正的联邦优化

    分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

    Apr, 2024

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • 联邦优化指南

    本论文旨在提供针对联邦优化算法的具体指导和实用实现，重点关注进行有效模拟以推断实际效果，并鼓励研究人员设计适用于各种实际应用的联邦学习算法。

    Jul, 2021

  • 联邦优化：面向设备智能的分布式机器学习

    本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。

    Oct, 2016

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022