通过联邦特征重训练进行异构和长尾数据的联邦学习

IJCAIApr, 2022

通过联邦特征重训练进行异构和长尾数据的联邦学习

Federated Learning on Heterogeneous and Long-Tailed Data via Classifier Re-Training with Federated Features

Xinyi Shang, Yang Lu, Gang Huang, Hanzi Wang

TL;DR本文提出了一种新型的隐私保护联邦学习方法，通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征，可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明，该方法是一种有效的解决方案，可在异构和长尾数据下获得有希望的联合学习模型。

Abstract

federated learning (FL) provides a privacy-preserving solution for distributed machine learning tasks. One challenging problem that severely damages the performance of FL models is the co-occurrence of data heter

federated learning heterogeneous data long-tailed distribution classifier re-training privacy-preserving

发现论文，激发创造

在联邦式长尾学习中，将局部真实数据与全局梯度原型集成以进行分类器再平衡

本篇研究对去中心化的 Federated Learning 中，数据长尾分布导致全局模型严重偏向于头部类别而出现的问题进行了探究和解决，提出了一种局部平衡数据集的方法，并在训练时引入了额外的分类器，同时优化分类器的平衡和全局数据分布的建模，实验证明本研究的方法在各种情况下都表现出了优异的效果。

Jan, 2023

基于特征统计的长尾和非独立同分布数据的解耦联邦学习

本文探讨了尾部类别在几个客户端上稀疏分布的被忽视的情景，提出了一个基于功能统计的两阶段解耦合联邦学习框架（DFL-FS），用于加速收敛并提高特征学习能力，实验结果表明该方法在准确率和收敛速度上优于现有方法。

Mar, 2024

走向联邦长尾学习

本文探讨如何在隐私保护联邦学习框架下，同时解决学习长尾数据分布及数据隐私保护问题，提出了三种不同的长尾数据分布情景，并强调了相应的挑战。初步结果表明，解决联邦长尾学习任务需要更多的工作和研究。

Jun, 2022

异构和长尾数据上的多层个性化联邦学习

MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

May, 2024

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

面向医学图像分类的不均衡和聚合数据分布联邦学习

采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

Jun, 2022

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

基于 CLIP 引导的异构和长尾数据联邦学习

采用 CLIP 指导的联合学习（CLIP2FL）方法在异构和长尾数据上进行了研究，通过使用 CLIP 模型的知识转移，构建客户端和服务器之间的桥梁，改善了客户端特征表示能力，生成联合特征以重新训练服务器模型，以减轻用户异构性和类分布不平衡问题。

Dec, 2023

面向医学转录分析的联合多语言模型

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022

通过多维个性化边缘模型实现更公平和有效的联邦学习

本文提出了一种个性化的联邦学习（CFL）系统，通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决 FL 在多个维度上的异质性问题。实验证明，CFL 在 FL 训练和边缘推断方面具有全栈优势，并显著改进了模型准确性（在非异构环境中高达 7.2％，在异构环境中高达 21.8％）、效率和公平性。

Feb, 2023