增强本地模型多样性的非独立同分布数据的一次性连续联邦学习
在资源受限环境中,通过介绍聚类正则化和全局更新频率适应的控制算法,我们提出了一种新的训练模型系统,用于解决联合学习中的数据非独立同分布和模型收敛性问题,该系统在减少训练时间和通信成本的同时提高了准确性。
Jul, 2023
本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性,并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法,提供了未来解决 ' 数据孤岛 ' 挑战的启示。
Feb, 2021
联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL,它实现了一种灵活的 CFL 框架,支持不同比例的客户端参与和新客户端加入,而且在保持模型性能的同时获得了良好的聚类结果。
Mar, 2023
本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战,提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案,并通过实验表明,使用仅占 5%的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30%。
Jun, 2018
本文提出一种基于重要性抽样的联邦学习 (ISFL) 框架,紧密结合局部训练与周期共享,解决分布式客户端上存在的梯度差异、收敛性能等问题,并在 CIFAR-10 数据集上验证了其优越性能。同时,该方法是首个从局部采样角度提出的可与神经网络模型兼容的非独立同分布联邦学习解决方案,易于运用于其他新兴 FL 框架。
Oct, 2022
本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP,该方法使用动态序列 - 并行协作训练的新概念,通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异,增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配,该算法利用重心等价定理简化 NP 难问题,实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7%的准确率,并将训练时间和通信成本降低了 90%以上。
Jan, 2022
本文提出了一种修改的联邦学习 (FL+HC) 方法,通过引入分层聚类步骤将客户端分为相似的集群,然后对这些集群进行独立并行的训练,实现在非独立同分布的数据环境下的模型训练,通过该方法可以使模型的性能、收敛速度、精度都有所提升。
Apr, 2020