提升联邦深度学习泛化能力的群组连接性

Feb, 2024

提升联邦深度学习泛化能力的群组连接性

Improving Group Connectivity for Generalization of Federated Deep Learning

Zexi Li, Jie Lin, Zhiqi Li, Didi Zhu, Chao Wu

TL;DR通过对 FL 中的连接性进行研究和改进，本文提出了 FedGuCci 和 FedGuCci + 两种方法，用于提高 FL 的泛化性能，尤其适用于不同任务、不同模型和训练范式的异构客户端情况。

Abstract

federated learning (FL) involves multiple heterogeneous clients collaboratively training a global model via iterative local updates and model fusion. The generalization of FL's global model has a large gap compar

federated learning generalization connectivity transitivity client heterogeneity

发现论文，激发创造

协作方法：为了最大化跨边界联邦学习的泛化性能

分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。

Jan, 2024

联邦学习的模态连接性与数据异质性

通过模式连接性理论和实证研究，我们发现数据异质性的减少可以提高不同路径上的连接性，形成更多客户端和全局模式之间的低误差重叠，并且我们还发现线性连接两个全局模式时存在连接性的障碍，但考虑非线性模式连接性后，这个障碍消失。

Sep, 2023

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023

联邦学习中的非线性融合：面向联邦领域泛化的超网络方法

提出了一种创新的基于超网络的联邦融合算法 hFedF，用于解决联邦领域泛化中个性化和泛化之间的权衡问题，并在多个案例中，在联邦领域泛化的三个常用数据集上超越强基准性能。

Feb, 2024

跨机构联合学习中医疗图像分割通用化缺口的解决

本研究提出了 FedSM 框架，以避免客户端漂移问题并成功解决中心化训练的泛化差距，为医学图像分割任务提供了一种新方法。同时，提出了个性化的联邦学习目标制定和新方法 SoftPull 来解决它。在深度联邦学习的现实医学图像分割实验中验证了我们提出方法的有效性。

Mar, 2022

通过稳定性理解联邦学习的泛化：异质性很重要

本文针对联邦学习中算法稳定性的概念，研究了 FedAvg、SCAFFOLD 和 FedProx 在凸性和非凸性损失函数下的通用性能，并探讨了客户端数据的异质性和算法收敛行为对模型通用性能的影响。

Jun, 2023

FedImpro: 度量与提升联邦学习中的客户端更新

通过生成改进的本地模型来减轻分布不同的客户机之间的客户漂移，并增强模型的泛化性能。

Feb, 2024

用层次生成原型来减少联邦式增量学习中的偏见

该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法，从而提高全局模型的预测准确性，并在平均准确率上提供了 7.9% 的增加。

Jun, 2024

联邦互助学习

本文提出了一种新的联邦学习范例，名为联邦互助学习（FML），以处理三种不同类型的异质性，允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。

Jun, 2020