非凸紧凑平滑次流形上的异构数据联邦学习

Jun, 2024

非凸紧凑平滑次流形上的异构数据联邦学习

Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data

Jiaojiao Zhang, Jiang Hu, Anthony Man-Cho So, Mikael Johansson

TL;DR本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

Abstract

Many machine learning tasks, such as principal component analysis and low-rank matrix completion, give rise to manifold optimization problems. Although there is a large body of work studying the design and analys

machine learning manifold optimization federated learning stochastic riemannian gradients communication efficiency

发现论文，激发创造

鲁棒的网络联邦学习用于定位

本文提出了一种在分布式子梯度框架中采用 L1 范数鲁棒性公式的方法来解决分布式环境中的定位问题，并通过数值模拟验证了该方法在异常值较多的环境中的优越性能。

Aug, 2023

复合异构数据联邦学习

我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

Sep, 2023

利用流形重塑实现部分类不相交数据下的联邦学习

我们提出了一种称为 FedMR 的流形重塑方法，通过引入内部类损失和跨类损失来校准本地训练的特征空间，从而解决部分类不相交数据在联邦学习中引发的优化方向偏倚问题，实现更高的准确性和更好的通信效率。

May, 2024

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

异步联邦优化

提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

Mar, 2019

可证明的个性化和强健联邦学习

本文提出采用简单的基于阈值的聚类算法以及本地客户端梯度的方法来解决联邦学习个性化问题，在保证最优收敛保障的同时，算法具有健壮性。

Jun, 2023

联邦鞍点优化的高效算法

本论文的研究目标是设计一种算法，以实现在异构客户端之间利用相似性的好处，并在任意异质性（最多对数因素）下恢复 Minibatch Mirror-prox　性能的联邦极小极大问题优化算法。主要思想是将（i）搭脚手架（一种在凸优化中跨客户进行方差减少的算法）与（ii）催化剂（一种基于修改目标的加速框架）结合起来，以实现降低对异构性的最差依赖性和加速收敛而不损害客户漂移。实验证明该算法达到了我们的目标。

Feb, 2021

具有差分隐私的黎曼流形上的联邦学习

提出了一个基于 Riemannian 流形的差分隐私技术的私有联邦学习框架 (PriRFed)，分析了隐私保证的同时确立了收敛性属性，是第一个具有隐私保证和收敛结果的基于 Riemannian 流形的联邦学习框架

Apr, 2024

矩阵流形上的 Riemannian 坐标下降算法

提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

Jun, 2024

联邦条件随机优化

这篇论文提出了第一个联邦条件随机优化算法（FCSG），它使用条件随机梯度估计器和基于动量的算法（FCSG-M）来解决联邦学习中的非凸条件随机优化问题。通过方差减少设计了一种加速算法（Acc-FCSG-M），以达到最佳样本和通信复杂度，并在不同任务上的广泛实验结果验证了这些算法的效率。

Oct, 2023