联邦学习中更多的通信量不会导致更小的泛化误差

Apr, 2023

联邦学习中更多的通信量不会导致更小的泛化误差

More Communication Does Not Result in Smaller Generalization Error in Federated Learning

Romain Chor, Milad Sefidgaran, Abdellatif Zaidi

TL;DR该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。

Abstract

We study the generalization error of statistical learning models in a federated learning (FL) setting. Specifically, there are $K$ devices

federated learning generalization error statistical learning models stochastic gradient descent model aggregation

发现论文，激发创造

联邦学习：你可能不必频繁通信！

本文研究了联邦学习模型的泛化误差，通过 PAC-Bayes 和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于 FSVM 时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小 FL 算法的总体风险。

Jun, 2023

通信高效联邦学习的改进推广界限

本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部分采用不同的聚合频率来降低通信成本，并通过实验结果证明了 FedALS 的有效性。

Apr, 2024

联邦学习中泛化错误和隐私泄漏的信息理论界限

这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

May, 2020

通过稳定性理解联邦学习的泛化：异质性很重要

本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

Jun, 2023

FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

Feb, 2023

面向用户的联合学习：以个性化为代价进行无线资源交换

本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

Apr, 2023

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023

通过一般化界限估计对联邦学习进行聚合加权

使用一种新的策略替代先前的加权方法，该策略考虑了每个本地模型的泛化界限，实验证明该方法显著改善了基准数据集上几种代表性的 FL 算法的性能。

Nov, 2023

混合全局和局部模型的联邦学习

提出针对联邦学习模型的新型优化公式，通过寻求全局模型与本地模型之间的平衡，使各参与设备能够从其私有数据中学习，而不需要通信。此方法类似于联邦平均 /local SGD，但能够改善具有异构数据的问题的通信，同时发现个性化能够降低通信复杂度。

Feb, 2020