FedLF：联邦长尾学习中的自适应Logit调整与特征优化

Sep, 2024

FedLF：联邦长尾学习中的自适应Logit调整与特征优化

FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning

Xiuhua Lu, Peng Li, Xuefeng Jiang

TL;DR本研究旨在解决传统联邦学习方法未能有效应对全局长尾数据的类别偏差问题，从而导致模型在处理头类别时忽视尾类别。我们提出了一种新方法FedLF，通过自适应Logit调整、连续类中心优化和特征去相关来优化本地训练阶段，实验证明该方法能够有效缓解数据异构性和长尾分布导致的模型性能下降。

Abstract

Federated Learning offers a paradigm to the challenge of preserving privacy in distributed machine learning. However, datasets distributed across each client in the real world are inevitably heterogeneous, and if the datasets can be globally aggregated, they tend to be long-tailed dist

发现论文，激发创造

通过联邦特征重训练进行异构和长尾数据的联邦学习

本文提出了一种新型的隐私保护联邦学习方法，通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征，可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明，该方法是一种有效的解决方案，可在异构和长尾数据下获得有希望的联合学习模型。

Apr, 2022

在联邦式长尾学习中，将局部真实数据与全局梯度原型集成以进行分类器再平衡

本篇研究对去中心化的Federated Learning中，数据长尾分布导致全局模型严重偏向于头部类别而出现的问题进行了探究和解决，提出了一种局部平衡数据集的方法，并在训练时引入了额外的分类器，同时优化分类器的平衡和全局数据分布的建模，实验证明本研究的方法在各种情况下都表现出了优异的效果。

Jan, 2023

重新思考联邦学习中的客户漂移：逻辑回归视角

通过引入类原型相似度蒸馏算法(FedCSD)解决联邦学习中的客户端漂移和灾难性遗忘问题，实验证明它在各种异构环境下优于现有的联邦学习方法。

Aug, 2023

FedFed: 联邦学习中针对数据异质性的特征蒸馏

通过提出一种被称为联邦特征蒸馏（FedFed）的新方法，本研究肯定了通过共享部分数据特征来解决数据异质性，并在全球范围内共享性能敏感的特征以减轻数据异质性的可能性。

Oct, 2023

Fed-GraB: 基于自适应梯度均衡器的联邦长尾学习

此研究论文介绍了一种名为Fed-GraB的方法，通过在全局范围内聚合本地异构数据集并调整本地学习策略，基于全局长尾分布的反馈，实现了在保持多数类性能的同时，在少数类上取得更好性能的全局模型，并在CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT和iNaturalist等数据集上取得了最先进的性能。

Oct, 2023

FedFN：解决联邦学习中的数据异质性问题的特征正态化

研究通过实验证明FedFN学习方法在训练模型时依然可以保持高效性能，尤其在面对数据异质性和特征表征等问题时表现优异。

Nov, 2023

FedLoGe: 长尾数据下的联合局部与通用联邦学习

本研究提出了一种名为FedLoGe的方法，通过在神经坍塌框架中集成表示学习和分类器对齐，提高了本地和通用模型的性能，从而加强了分布式长尾学习中全局模型和本地模型的表现。

Jan, 2024

基于特征统计的长尾和非独立同分布数据的解耦联邦学习

本文探讨了尾部类别在几个客户端上稀疏分布的被忽视的情景，提出了一个基于功能统计的两阶段解耦合联邦学习框架（DFL-FS），用于加速收敛并提高特征学习能力，实验结果表明该方法在准确率和收敛速度上优于现有方法。

Mar, 2024

FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

May, 2024

FedLog: 个性化联邦分类在通信更少和灵活性更高的情况下

在联邦学习中，我们提出了一种新的算法 FedLog，通过贝叶斯推断只共享局部数据的充分统计信息，以降低通信成本并提供形式化的隐私保证。在实验证明了我们在减少通信成本方面优于其他联邦学习算法。

Jul, 2024