Fed-CO2：联合在线和离线模型处理联邦学习中严重数据异质性

Dec, 2023

Fed-CO2：联合在线和离线模型处理联邦学习中严重数据异质性

Fed-CO$_{2}$: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning

Zhongyi Cai, Ye Shi, Wei Huang, Jingya Wang

TL;DR我们提出了 Fed-CO2，这是一个统一的联邦学习框架，用于处理标签分布倾斜和特征倾斜，通过在线和离线模型之间的合作机制来增强模型合作，同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面，我们的 Fed-CO2 在个体和整体上均优于现有的个性化联邦学习算法。

Abstract

federated learning (FL) has emerged as a promising distributed learning paradigm that enables multiple clients to learn a global model collaboratively without sharing their private data. However, the effectiveness of FL is highly dependent on the quality of the data that is being used

federated learning data heterogeneity label distribution skew feature skew fed-co₂

发现论文，激发创造

假装直到实现：以共识为导向的联邦学习

通过联邦生成一致性（FedCOG）方法，生成与原始数据集补充相符的数据以减少数据异质性，并通过知识蒸馏模型训练来提高性能。

Dec, 2023

跨组织边缘学习中协作结构优化

本文提出了 FedCollab，一种基于数据分布距离和数据数量对客户端进行聚类的新型联邦学习框架，可以有效地减轻负面转移问题，并在各种 FL 算法中始终优于其他聚类 FL 算法。

Jun, 2023

FedCos：面向场景的联邦优化增强算法用于性能提升

通过引入余弦相似性惩罚，FedCos 减少了本地模型的方向不一致性，并且可以自适应于各种非 IID 设置，提高了通信效率，并且在不同的 FL 场景下表现出了优异性能，包括减少通信轮数等。

Apr, 2022

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

面向医学图像分类的不均衡和聚合数据分布联邦学习

采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

Jun, 2022

解决联邦学习中的计算异构性：几个理论思路

机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

Jul, 2023

面向异构边缘 / 雾网络的协作联邦学习

提出一种合作的边缘 / 雾设备机器学习范例 — 合作联邦学习 (CFL)，通过设备之间和设备与服务器之间的协作，实现模型 / 数据 / 资源池化机制，以解决边缘 / 雾网络中网络异构性问题，提高机器学习模型的质量和网络此消耗。同时，该范例还支持无标签数据和异构设备隐私等新功能。

Mar, 2023

联邦倾斜标签学习与逻辑融合

通过在客户端引入额外的私有弱学习器与本地模型组成集成模型，FedBalance 方法能够通过融合两个模型的对数几率来纠正本地模型之间的优化偏差，从而改进本地模型的优化方向，提高少数类别的分类错误处罚并降低多数类别的注意力，从而得到更好的全局模型。

Nov, 2023

异质数据上的一致性机制联邦学习：收敛性的新视角

在本文中，我们提出了一种名为 FedCOME 的共识机制，通过在服务器端对客户端的梯度进行微调，保证了每轮训练后每个客户端的风险减少；我们还设计了一种新的客户端采样策略，将共识机制推广到部分参与的联邦学习场景，有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了 FedCOME 在效果、效率和公平性方面优于其他最先进的方法。

Nov, 2023

FedH2L：具有模型和统计异质性的联邦学习

该论文提出了 FedH2L 方法，通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。

Jan, 2021