Nov, 2023

FedDRO: 面向分布鲁棒学习的联邦组合优化

PDF
TL;DR提出了一种在联邦学习场景中高效解决非凸复合优化问题的 FedAvg 型算法，利用分布鲁棒优化问题结构设计通信策略来控制估计的复合梯度中的偏差，实现了样本复杂度为 O (ε^-2) 和通信复杂度为 O (ε^-3/2) 的线性加速，并通过对大规模分布式鲁棒优化问题进行实证研究验证了理论结果。
compositional optimizationfederated learningdistributionally robust optimizationfl algorithmsfedavg-type algorithms
发现论文，激发创造
  • 联邦复合优化

    本文探讨了面向非平滑损失函数的联邦学习问题，提出了一种新的基于原始 - 对偶算法的 FedDualAvg 算法，并通过理论分析和实验结果证明了其优于其他基线算法。

    Nov, 2020

  • 联邦学习中快速复合优化和统计恢复

    本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

    Jul, 2022

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • FedPD: 一种具有最优速率和适应非独立同分布数据的联邦学习框架

    本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题，使得此算法成为分布式学习架构中所有特性最优秀的算法框架，并且具有通信效率。

    May, 2020

  • 无线联邦学习与优化

    使用过空中计算的联邦学习方法，研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差，包括收敛性、影响、收敛速率、传输方案和通信效率等方面，并通过仿真验证了理论结论。

    Oct, 2023

  • 基于组合优化的大规模分布式鲁棒模型学习

    本文提出通过有限和复合优化来提供可扩展的机器学习算法，用于训练鲁棒性强的模型，并展示本算法在超大数据集上学习鲁棒模型的有效性。

    Mar, 2022

  • 复合异构数据联邦学习

    我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

    Sep, 2023

  • 关于联邦学习的二阶优化方法

    本研究考虑分布式学习中的标准优化方法 FedAvg，对比了多种具有良好收敛性质的二阶分布式方法，发现 FedAvg 表现出乎意料好，提出了一种使用二阶局部信息和全局线性搜索的新变种。

    Sep, 2021

  • 分布鲁棒联邦平均法

    本文介绍一种分布式算法，即 Distributionally Robust Federated Averaging，用于解决分布式鲁棒联邦学习中通信效率和全局参数更新频率不匹配的问题，并且研究了该算法的收敛性及其一般化方法。

    Feb, 2021

  • 预处理联邦学习

    在本文中，我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法，通过使用新型协方差矩阵预处理器，我们的方法在理论上提供了收敛保证，并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。

    Sep, 2023