多联邦学习是一个去中心化的联邦学习框架,旨在解决非独立同分布数据的问题,并通过维护多个模型并行进行收敛,以增强适应性。
Apr, 2024
本文介绍了一种新的联邦学习算法,FedDC,旨在通过本地漂移重构和修正来解决客户端数据分布异质性的问题,实验结果证明 FedDC 在各种图像分类任务上具有加速收敛和更好的性能。
Mar, 2022
本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL,它实现了一种灵活的 CFL 框架,支持不同比例的客户端参与和新客户端加入,而且在保持模型性能的同时获得了良好的聚类结果。
Mar, 2023
联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
FedClust 是一种聚类联邦学习方法,利用局部模型权重和客户数据分布之间的相关性将客户分组成簇,并动态地实时适应新加入的客户,实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。
Mar, 2024
本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性,并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法,提供了未来解决 ' 数据孤岛 ' 挑战的启示。
Feb, 2021
FedSiKD 是一种相似性基于联邦学习框架,利用知识蒸馏技术解决非独立同分布数据和设备约束等问题,提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集,FedSiKD 相较于现有算法具有更高的准确性,并在前五轮迭代中分别提升了 17% 和 20% 的准确率,展现了其早期学习的能力。代码已公开并托管在 GitHub 上。
Feb, 2024
本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战,提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案,并通过实验表明,使用仅占 5%的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30%。
Jun, 2018
本文讨论了联邦学习的隐私保护机制,分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响,概括了当前解决非独立同分布数据挑战的方法,并讨论了这些方法的优缺点。最后,提出了研究方向。
Jun, 2021
提出了一种名为联邦蒸馏(FD)的分布式模型训练算法,其通信负载大小比联邦学习(FL)小得多,尤其是当模型大小较大时,并提出了一种名为联邦增强(FAug)的方法来处理设备间用户生成数据样本分布不同的问题。实证研究表明,采用 FD 和 FAug 可以减少约 26 倍的通信开销,同时实现 95-98% 的测试精度。
Nov, 2018