本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战,提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案,并通过实验表明,使用仅占 5%的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30%。
Jun, 2018
本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性,并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法,提供了未来解决 ' 数据孤岛 ' 挑战的启示。
Feb, 2021
多联邦学习是一个去中心化的联邦学习框架,旨在解决非独立同分布数据的问题,并通过维护多个模型并行进行收敛,以增强适应性。
Apr, 2024
本文讨论分布式数据的非 IID 性质及其对联邦学习的训练造成的影响,同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较,并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外,本文证明了在模型大小不太大的情况下使用联邦学习框架具有成本优势。
Feb, 2022
联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
通过提出集中式的、基于神经网络的联邦学习系统,利用边缘计算减少中央服务器的负载,同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。
Nov, 2023
本文调查了针对非独立同分布数据的个性化联邦学习的研究,此技术可让多方参与联合学习,从而达到隐私保护的目的。
Mar, 2020
研究采用安全的联邦学习方法,提出了一种应对非独立同分布挑战的方法,并将差分隐私与混沌加密进行了比较。实验表明,联邦深度学习模型在差分隐私的保护下,在独立同分布和非独立同分布数据的情况下都能提高深度神经网络的平均性能度量。
Feb, 2024
本文提出了一种在联邦学习中学习所有参与客户机中共同不变(因果)特征的方法,并经验性地分析了它如何增强模型的精度和隐私性。
Apr, 2021
本文提供了一种系统的概述和分类,涵盖了联邦学习的现有安全挑战以及针对数据污染,推断攻击和模型毒化攻击的防御技术。此外,还探讨了处理非独立同分布数据、高维度问题和异构架构的联邦学习的当前训练挑战,并提出了解决相关挑战的几种解决方案。最后,我们讨论了联邦学习训练中剩余的挑战,并提出了针对开放问题的研究方向建议。
Apr, 2022