Mar, 2021

FedDR—— 用于非凸联邦复合优化的随机 Douglas-Rachford 分裂算法

PDF
TL;DR我们提出了两种新的基于异步实现的算法 FedDR 和 asyncFedDR 用来解决联邦学习中的基本非凸复合优化问题，它们可以处理统计和系统异质性，并通过异步更新方式与最优通讯复杂度匹配。
federated learningnonconvex optimizationalgorithmasynchronous implementationcommunication complexity
发现论文，激发创造
  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • FedADMM：一种允许部分参与的联合原始对偶算法

    该研究提出一种新的联邦学习算法 FedADMM，解决具有非光滑正则化器的非凸复合优化问题，以促进通信效率和数据隐私。作者证明了在一般的采样模型下，在不是所有客户端都能参与给定通信轮的情况下，FedADMM 会收敛。

    Mar, 2022

  • 带双重正则化漂移校正的联邦优化

    分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

    Apr, 2024

  • FedSplit：一种用于快速联邦优化的算法框架

    本文介绍了一类名为 FedSplit 的基于操作分裂的算法，用于解决具有加性结构的分布式凸最小化，该算法在联邦学习、分布式优化等领域有较好的应用前景。

    May, 2020

  • FedDRO: 面向分布鲁棒学习的联邦组合优化

    提出了一种在联邦学习场景中高效解决非凸复合优化问题的 FedAvg 型算法，利用分布鲁棒优化问题结构设计通信策略来控制估计的复合梯度中的偏差，实现了样本复杂度为 O (ε^-2) 和通信复杂度为 O (ε^-3/2) 的线性加速，并通过对大规模分布式鲁棒优化问题进行实证研究验证了理论结果。

    Nov, 2023

  • 分布鲁棒联邦平均法

    本文介绍一种分布式算法，即 Distributionally Robust Federated Averaging，用于解决分布式鲁棒联邦学习中通信效率和全局参数更新频率不匹配的问题，并且研究了该算法的收敛性及其一般化方法。

    Feb, 2021

  • FedADMM: 适应系统异构性的强大联邦深度学习框架

    本文提出了一种新的 FedADMM 协议用于非凸目标函数下的联邦学习，利用双重变量解决统计异质性，该算法通过扩展 Lagrangian 以保持每轮相同的通信成本和推广 FedAvg/Prox。在真实数据集上的实验结果表明，FedADMM 在减少所需轮数的通信效率方面优于所有基线方法，尤其在大规模系统中其优势更为明显。

    Apr, 2022

  • 联邦复合优化

    本文探讨了面向非平滑损失函数的联邦学习问题，提出了一种新的基于原始 - 对偶算法的 FedDualAvg 算法，并通过理论分析和实验结果证明了其优于其他基线算法。

    Nov, 2020

  • 联邦学习中快速复合优化和统计恢复

    本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

    Jul, 2022

  • 复合异构数据联邦学习

    我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

    Sep, 2023