通过稳定性理解联邦学习的泛化：异质性很重要

Jun, 2023

通过稳定性理解联邦学习的泛化：异质性很重要

Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters

Zhenyu Sun, Xiaochun Niu, Ermin Wei

TL;DR本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

Abstract

generalization performance is a key metric in evaluating machine learning models when applied to real-world applications. Good generalization indicates the model can predict unseen data correctly when trained und

generalization performance machine learning federated learning algorithmic stability heterogeneity

发现论文，激发创造

分布式学习算法性能评估研究

分布式学习是一种实际的方法，用于从分散的数据中训练模型。分布式学习算法（如 FedAvg、FedProx、FedYogi、FedAdam、SCAFFOLD 和 FedDyn）的综合性能评估揭示了单一算法在不同性能指标上表现并不最佳，同时也存在诸如计算负载、通信负载、性能稳定性等方面的问题。

Mar, 2024

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023

协作方法：为了最大化跨边界联邦学习的泛化性能

分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。

Jan, 2024

FedSoL: 在联合学习中桥接全球对齐和本地通用性

通过结合全局对齐和局部普遍性的概念，我们提出了名为 FedSoL 的联邦稳定学习方法，该方法在寻求抵御邻近扰动的参数区域时，既可维持原始局部目标进行参数更新，又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明，FedSoL 在各种场景下始终保持最先进的性能。

Aug, 2023

联邦学习中的泛化是什么意思？

本文提出了一种用于区分表现差距的框架，以解决联邦学习中未见客户数据（样本外差距）与未见客户分布（参与差距）之间的性能差距，同时提出了语义综合策略，以便实现对联邦学习中一般化的现实模拟。在自然和合成联邦数据集上对此进行了观察和解释，旨在为未来的联邦学习工作提出建议。

Oct, 2021

异构网络中的联邦优化

本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

Dec, 2018

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

稳健联邦学习的进展：异质性考虑

异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

May, 2024

每个参数都很重要：确保联邦学习与动态异构模型的收敛性

通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。

Oct, 2023