复合异构数据联邦学习

Sep, 2023

Composite federated learning with heterogeneous data

Jiaojiao Zhang, Jiang Hu, Mikael Johansson

TL;DR我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

Abstract

We propose a novel algorithm for solving the composite federated learning (FL) problem. This algorithm manages →

federated learning algorithm non-smooth regularization client drift communication frequency

发现论文，激发创造

联邦复合优化

本文探讨了面向非平滑损失函数的联邦学习问题，提出了一种新的基于原始 - 对偶算法的 FedDualAvg 算法，并通过理论分析和实验结果证明了其优于其他基线算法。

Nov, 2020

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

联邦学习中快速复合优化和统计恢复

本文研究了在联邦学习设置下一类组合优化和统计恢复问题，提出了新的算法，旨在从优化和统计两个角度开拓这一领域，实验表明该方法比其他基线优秀。

Jul, 2022

DualFL: 基于对偶的联邦学习算法，在一般凸域中具有通信加速

本文提出了一种名为 DualFL 的新型训练算法，可以解决联邦学习中分布式优化问题，并实现了在不同条件下的通信加速，在使用不精确本地解算器时也保持其最佳的通信复杂度。此外，这是第一个即使在成本函数为非平滑或非强凸时也能实现通信加速的联邦学习算法。

May, 2023

原型正则化提升联邦学习收敛性

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

HeteroFL：用于异构客户端的计算与通信高效联邦学习

本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

Oct, 2020

解决联邦学习中的计算异构性：几个理论思路

机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

Jul, 2023

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

非凸紧凑平滑次流形上的异构数据联邦学习

本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

Jun, 2024

联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度

本文提出了 FedLin 框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin 保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

Feb, 2021