Apr, 2024

带双重正则化漂移校正的联邦优化

PDF
TL;DR分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。
federated learningclient driftcommunication-computation trade-offsdanefedred
发现论文，激发创造
  • FedDANE：一种联邦牛顿型方法

    本文介绍了 FedDANE，一种从分布式优化的方法 DANE 基础上，为应对联邦学习的现实约束而提出的一种优化方法。作者提供了该方法应用于凸性和非凸性函数时的收敛性保证，并通过从合成和真实数据集上的实验模拟，将 FedDANE 与 FedAvg 和 FedProx 的表现进行了类比，发现其性能不如基线模型，作者归因于设备参与率低和设备之间的统计异质性，并提出了一些未来工作的方向。

    Jan, 2020

  • 自适应联邦优化

    本研究提出了联邦学习的自适应优化方法，包括 Adagrad，Adam 和 Yogi，并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用，并表明自适应优化器的使用可以显着提高联邦学习的性能。

    Feb, 2020

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 联邦学习聚合：具有保证的新的鲁棒算法

    该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析，并通过与 FedAvg 进行分类任务的比较来评估其性能，得出了新的聚合算法，该算法可以通过区分客户端贡献的价值来修改其模型架构。

    May, 2022

  • FedGrad: 分散式機器學習中的優化

    本文介绍联邦学习作为一种分布式机器学习方法，提出自适应联邦优化算法和其他一些想法，并通过实验展示了在性能上的改进。

    Nov, 2022

  • 基于动态正则化的联邦学习

    我们提出了一种新的联邦学习方法，通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时，在凸和非凸情况下实现了高效训练。

    Nov, 2021

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 分布式非凸优化在断断续续的客户端可用性下实现亚线性加速

    该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法，用于解决在移动环境下采用联邦学习时客户端不连续可用的问题，并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。

    Feb, 2020

  • 高效沟通的自适应联邦学习

    本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

    May, 2022

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023