Feb, 2023

通过多维个性化边缘模型实现更公平和有效的联邦学习

HTML
PDF
TL;DR本文提出了一种个性化的联邦学习（CFL）系统，通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决FL在多个维度上的异质性问题。实验证明，CFL在FL训练和边缘推断方面具有全栈优势，并显著改进了模型准确性（在非异构环境中高达7.2％，在异构环境中高达21.8％）、效率和公平性。
发现论文，激发创造
  • SSFL: 通过个性化自监督解决联合学习中的标签不足问题

    本文提出自监督联邦学习框架（SSFL），包括标签不足、数据异构性等挑战，并提出一系列算法，如Per-SSFL、FedAvg和SimSiam等。作者还开发了一个分布式训练系统和相关评估协议，发现监督和非监督学习之间的性能差距小。

    Oct, 2021

  • 用于普适计算的联邦学习聚合算法：评估和比较

    本文探讨了如何应对异构设备和用户的挑战，提出了一种新型的聚合算法FedDist，该算法能够考虑到客户端的差异性而不影响泛化能力，并在人类活动识别普适领域上通过对比测试发现其表现更好。

    Oct, 2021

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

    Nov, 2021

  • 具有服务器端信息的个性化联邦学习

    研究个性化联邦学习中如何利用服务器数据来提高meta-gradient计算以增加个性化性能的FedSIM方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达34.2％。

    May, 2022

  • 解决联邦学习中的计算异构性：几个理论思路

    机器学习的未来在于边缘计算，用于数据收集和训练，联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架，用于解决联邦优化中的计算异构性问题，包括异构数据和本地更新，并从理论和实验的角度进行了广泛的分析。

    Jul, 2023

  • FedLoRA：具有LoRA调整的异构模型个性化联邦学习

    基于LoRA调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了1.35%，计算开销减少了11.81倍，通信成本降低了7.41倍。

    Oct, 2023

  • FedLPS: 多任务异质联邦学习与本地参数共享

    在本文中，我们提出了利用本地参数共享的异构联邦学习（FedLPS）来解决边缘计算环境中多任务部署和资源消耗不均匀问题，并通过模型剪枝算法和异构模型聚合算法来减少计算资源的消耗。实验证明，FedLPS相对于现有联邦学习框架在性能上有很大的提升，可以将计算资源的消耗降低21.3%。

    Feb, 2024

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 通过个性化联邦原型修正解决偏斜异构性

    本研究针对联邦学习中数据层异构性的问题，提出了一种新的联邦原型修正方法与个性化相结合的方案，称为偏斜异构联邦学习（SHFL）。该方法通过构建平衡的决策边界和修正经验原型，显著提高了个性化与普适性的平衡表现，超越了当前的先进技术。

    Aug, 2024

  • 个性化联邦学习与自适应特征聚合及知识转移

    本研究解决了个性化联邦学习中统计异质性对模型性能的影响，提出了一种新方法：个性化联邦学习与自适应特征聚合及知识转移（FedAFK）。该方法通过平衡全局模型知识与本地数据个性化的关系，显著提高了在非独立同分布数据上的个性化模型性能。

    Oct, 2024