基于特征统计的长尾和非独立同分布数据的解耦联邦学习

Mar, 2024

基于特征统计的长尾和非独立同分布数据的解耦联邦学习

Decoupled Federated Learning on Long-Tailed and Non-IID data with Feature Statistics

Zhuoxin Chen, Zhenyu Wu, Yang Ji

TL;DR本文探讨了尾部类别在几个客户端上稀疏分布的被忽视的情景，提出了一个基于功能统计的两阶段解耦合联邦学习框架（DFL-FS），用于加速收敛并提高特征学习能力，实验结果表明该方法在准确率和收敛速度上优于现有方法。

Abstract

federated learning is designed to enhance data security and privacy, but faces challenges when dealing with heterogeneous data in long-tailed and non-IID distributions. This paper explores an overlooked scenario

federated learning heterogeneous data long-tailed data distributions dfl-fs convergence rate

发现论文，激发创造

通过联邦特征重训练进行异构和长尾数据的联邦学习

本文提出了一种新型的隐私保护联邦学习方法，通过分类器重新训练实现异构和长尾数据的隐私保护联邦特征，可在不泄露本地数据或类分布信息的情况下产生与真实数据上重新训练后的分类器相当的性能。实验结果表明，该方法是一种有效的解决方案，可在异构和长尾数据下获得有希望的联合学习模型。

Apr, 2022

走向联邦长尾学习

本文探讨如何在隐私保护联邦学习框架下，同时解决学习长尾数据分布及数据隐私保护问题，提出了三种不同的长尾数据分布情景，并强调了相应的挑战。初步结果表明，解决联邦长尾学习任务需要更多的工作和研究。

Jun, 2022

在联邦式长尾学习中，将局部真实数据与全局梯度原型集成以进行分类器再平衡

本篇研究对去中心化的 Federated Learning 中，数据长尾分布导致全局模型严重偏向于头部类别而出现的问题进行了探究和解决，提出了一种局部平衡数据集的方法，并在训练时引入了额外的分类器，同时优化分类器的平衡和全局数据分布的建模，实验证明本研究的方法在各种情况下都表现出了优异的效果。

Jan, 2023

FedLoGe: 长尾数据下的联合局部与通用联邦学习

本研究提出了一种名为 FedLoGe 的方法，通过在神经坍塌框架中集成表示学习和分类器对齐，提高了本地和通用模型的性能，从而加强了分布式长尾学习中全局模型和本地模型的表现。

Jan, 2024

针对长尾数据的联邦学习安全聚合

本文针对联邦学习中数据不均衡和拜占庭节点攻击的问题，提出了一种新的两层聚合方法和智囊团概念，用于拒绝恶意模型和选出包含尾部类别数据信息的有价值模型进行全局聚合，初步实验证明智囊团对于全局聚合进行有效的模型选择。

Jul, 2023

样本非独立同分布数据上的联邦 XGBoost

本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响，并在多个数据集和数据 Skew 分区上进行了广泛的实验测试，结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。

Sep, 2022

多联邦学习：使用分散的联邦学习处理包容性非独立同分布数据

多联邦学习是一个去中心化的联邦学习框架，旨在解决非独立同分布数据的问题，并通过维护多个模型并行进行收敛，以增强适应性。

Apr, 2024

DCFL：非独立同分布感知数据压缩辅助联邦学习

分散式学习模式下的联邦学习存在数据分布不同的挑战，本论文提出了使用数据压缩和核对齐方法的 DCFL 算法，以解决该挑战，并在多个基准测试中展示了竞争性性能。

Dec, 2023

信息论分布多元化实现联邦泛化

我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

Oct, 2023

异构和长尾数据上的多层个性化联邦学习

MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

May, 2024