联邦学习中的线性收敛问题：应对客户端异质性和稀疏梯度
本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。
Jun, 2021
本文研究了联邦学习（FL）方法中两种类别：并行 FL（PFL）和顺序 FL（SFL）。对于异构数据上的顺序 FL，相比并行 FL，其收敛理论仍然欠缺。本文建立了异构数据上强烈 / 一般 / 非凸目标的顺序 FL 的收敛保证。实验结果验证了在跨设备环境中，对于极度异构数据，SFL 优于 PFL 的非直观分析结果。
Nov, 2023
对于高度异构的数据，在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.
Feb, 2024
通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。
Oct, 2023
在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。
Nov, 2023
本文提出了一种名为 FedCLG 的新算法，它可以在类似于混合 FL 的情形下防止部分参与的限制，同时保护客户隐私并实现模型聚合。数值实验表明，该算法胜过现有方法。
Apr, 2023
我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个 d 维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。
Sep, 2023
对于异构数据上的序列联邦学习 (SFL) 的收敛理论尚缺乏解决方案，本研究通过建立上下界，针对强凸、一般凸和非凸目标函数分别得出上界，以及匹配的强凸和一般凸目标函数的下界，将 SFL 的上界与平行联邦学习 (PFL) 的上界进行对比，结果表明在高度异构的情况下，SFL 较 PFL 表现更出色，并通过二次函数和真实数据集的实验结果验证了这一反直觉的比较结果。
May, 2024
通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
Apr, 2023