我们能否理论上量化局部更新对联邦学习泛化性能的影响？

Sep, 2024

我们能否理论上量化局部更新对联邦学习泛化性能的影响？

Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning?

Peizhong Ju, Haibo Yang, Jia Liu, Yingbin Liang, Ness Shroff

TL;DR本研究针对联邦学习中局部更新对泛化性能影响的缺乏重视的问题，提出了一种新的理论分析方法。我们通过线性模型的框架，探讨了数据异质性与局部更新对泛化性能的量化影响，并提供闭式的模型误差表达，揭示了局部更新次数与泛化性能演变的关系，为联邦学习的有效实施提供了新的见解。

Abstract

Federated Learning (FL) has gained significant popularity due to its effectiveness in training machine learning models across diverse sites without requiring direct data sharing. While various algorithms along with their optimization analyses have shown that FL with →

发现论文，激发创造

论本地更新方法中学习率的超大重要性

研究一种算法家族——局部更新方法，证明其对于二次目标表现出随机梯度下降，设计了新的收敛速度来平衡模拟损失函数的条件数与真实损失函数之间的差距，并在实验中展示了适当的学习率调整对于达到最优行为的重要性以及自适应学习率衰减的实用方法.

Jul, 2020

联邦学习与元学习中的收敛与准确性权衡

研究一种称为“本地更新方法”的算法族，它可以泛化许多联邦和元学习算法，并证明对于二次模型，本地更新方法等价于对我们精确表征的代理损失进行一阶优化。

Mar, 2021

联邦学习中的本地适应性: 收敛和一致性

本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

Jun, 2021

个性化联合学习与背景化泛化

本文提出了一种名为上下文化泛化（CG）的新概念，旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架，在多个现实世界的数据集上进行了实验，证明了该方法在测试精度上显著优于最先进的方法。

Jun, 2021

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

Nov, 2021

从预训练和初始化对联邦学习的影响开始

研究表明：使用预训练模型可以减少联邦学习中由数据和系统异构性带来的影响，缩短训练时间并提高模型准确性。同时，作者建议未来研究需要考虑从随机和预训练初始化开始时使用联邦优化方法的性能。

Jun, 2022

联邦学习中更多的通信量不会导致更小的泛化误差

该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。

Apr, 2023

通过稳定性理解联邦学习的泛化：异质性很重要

本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

Jun, 2023

联邦学习：你可能不必频繁通信！

本文研究了联邦学习模型的泛化误差，通过PAC-Bayes和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于FSVM时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小FL算法的总体风险。

Jun, 2023

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023