- 非独立分布联邦学习的特征匹配数据合成
通过生成合成数据来处理非独立和不同分布的数据之间的困难,从而提出了一种硬特征匹配数据合成方法以及一个数据增强的联邦学习框架来缓解数据异质性, 理论分析和模拟结果验证了提出的方法在解决非独立数据挑战方面的有效性。
- 路由驱动的分散联邦学习的模型训练
在分散式联邦学习中,Tram-FL 方法通过逐个传递全局模型而非交换和聚合本地模型,在最小转发的同时提高模型精度,并在非独立同分布数据下实现高模型准确度和较低通信成本。
- IJCAI超级联邦学习中非独立同分布数据的超螺旋原型探索与一致聚合
HyperFed 提出了三个主要模块:超曲面原型 Tammes 初始化(HPTI)、超曲面原型学习(HPL)和一致聚合(CA),通过统一类原型和一致特征表示,以及减少不一致性对服务器的影响,有效提升非独立同分布数据下联邦学习性能。
- IJCAI弹性约束元学习器用于联合学习
本论文提出了一种弹性约束方法,通过使用历史本地调整模型来限制内循环的方向,以改善联邦学习中元学习的不稳定性以及对于客户端的个性化更新,它通过适应本地数据分布,共同训练出效果更好的模型,此方法在三个公共数据集上取得了最佳效果。
- 面向分布式深度学习的概念感知聚类算法(考虑时间漂移)
该研究提出了一种能够自动发现和适应网络中不断变化的概念,无需先前知识或数量估计,从而应对分散式深度学习中非独立同分布数据和动态数据的新问题。在标准数据集上的评估表明,该算法优于以前的分散式学习方法。
- 解决联邦持续学习中的灾难性遗忘问题
为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题,提出了一种名为 TARGET 的方法,其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布,同时保护 - DYNAFED: 全局动态技术解决客户数据异质性问题
该论文提出了一种名为 Dynafed 的解决方案,通过收集和利用全局模型轨迹的动态知识来帮助聚合偏斜客户端数据,从而解决了 Federated Learning 在异构数据上局部最优的问题,同时不会影响数据隐私。
- 重新思考联邦学习中的数据异质性:引入新概念和标准基准
我们研究了数据异质性对联邦学习的影响,发现许多之前的联邦学习方法并没有深入探讨不同类型的数据异质性以及这些异质性如何影响参与客户端的准确性表现。我们研究发现,当前设置中的数据异质性不一定是问题,事实上,它对 FL 参与者有益。
- 样本非独立同分布数据上的联邦 XGBoost
本研究旨在调查非独立同分布数据对联邦 XGBoost 的影响,并在多个数据集和数据 Skew 分区上进行了广泛的实验测试,结果表明该模型在不同的分区比例下性能表现良好且与在集中式环境下训练的模型相当或接近。
- SCALE: 在线自监督终身学习无先验知识
本文提出在不具备先前知识的情况下进行在线自我监督终身学习的问题设置,并提出了一种名为 Self-Supervised ContrAstive Lifelong LEarning without Prior Knowledge(SCALE)的 - AAAIFedMCSA:基于模型构建与自注意力机制的个性化联邦学习
本文提出了一种新的框架,联邦模型组件自注意 (FedMCSA),来处理非独立同分布的数据,该机制利用模型组件的自我关注机制来提高不同客户之间的合作,同时降低模型组件之间的干扰,从而显著提高联邦学习的性能。
- ICLR关于预训练在联邦学习中的重要性和适用性
本文研究了在联邦学习中,预训练对于提高性能的重要性,并在人工生成的数据和分布式数据的情况下进行了探索,发现这些技术可以相互补充来进一步提高性能。然而,预训练似乎无法解决在非独立同分布数据情况下的局部模型漂移问题。
- IJCAI自适应专家模型用于联邦学习中的个性化
该研究提出了一种针对非 IID 数据的个性化联邦学习方法,使用专家混合模型来学习相似的客户,即使在病理性非 IID 环境中,我们的方法仍然能够比本地模型获得高达 4.38%的精度优势。
- 联邦图像分类中个性化的深入研究
本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架,其中包括非独立同分布数据(Non-IID data)对全局模型的表示学习的危害,并分离了表示学习和分类器学习,从而实现了个性化,并且在各种数据集和异构数据设置上的实验表明, - ICLR具备分歧感知的联邦自监督学习
通过具体实验研究发现了联邦自监督学习的深入见解,并提出了一种新的方法用于解决分散数据的非独立同分布问题。该方法称为 FedEMA,它使用全局模型的 EMA 来自适应地更新客户端的本地模型,并采用动态度量模型发散的的衰减速率。实验结果表明,F - 联邦机器学习和集中式机器学习的比较评估
本文讨论分布式数据的非 IID 性质及其对联邦学习的训练造成的影响,同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较,并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外,本文证明了在模型大小不太大的情况下使用联邦学习框架具有 - ICCV去中心化数据协作无监督视觉表征学习
该研究提出了一种名为 FedU 的联邦无监督学习框架,可以在保护数据隐私的同时利用去中心化的未标记图像数据学习视觉表示,并针对数据的非独立同分布问题提出了有效方法,实验证明其优于其他方法。
- 非独立同分布数据上的联邦学习:调查
本文讨论了联邦学习的隐私保护机制,分析了非独立同分布数据对水平和垂直联邦学习中参数和非参数机器学习模型的影响,概括了当前解决非独立同分布数据挑战的方法,并讨论了这些方法的优缺点。最后,提出了研究方向。
- 无畏异质性:针对非独立同分布数据的联合学习分类器校准
本文介绍了研究人员如何通过实验分析不同层学习的表示来填补数据异质性影响深度分类模型每一层次的深度理解的空白,并提出了一种称为具有虚拟表示的分类器校准(CCVR)的新方法,该方法通过从近似高斯混合模型中采样虚拟表示来调整分类器。实验结果表明, - ICML非独立同分布数据下的分散式学习交叉梯度汇聚
本文提出了一种新型的去中心化学习算法 - Cross-Gradient Aggregation,通过聚合交叉梯度信息来更新模型并在 MNIST 和 CIFAR-10 数据集上进行了测试,结果表明该算法具有良好的效率和学习性能。