Jan, 2022

基于分组串并训练的异构联邦学习

HTML
PDF
TL;DR本论文提出了一个数据异构鲁棒的联邦学习方法——FedGSP，该方法使用动态序列-并行协作训练的新概念，通过将FL客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的Inter-Cluster Grouping (ICG)算法来辅助分配，该算法利用重心等价定理简化NP难问题，实验结果表明FedGSP相比七种现有方法平均提高了3.7％的准确率，并将训练时间和通信成本降低了90％以上。
发现论文，激发创造
  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

    Nov, 2021

  • 异构和相关客户端的联邦学习

    本文提出了第一个针对不同客户的异构和相关可用性的FedAvg类FL算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed在合成数据集和实际数据集上比AdaFed和F3AST等现有算法具有更高的时间平均准确性和更低的标准差。

    Jan, 2023

  • FedPH:增强隐私的异构联邦学习

    提出一种新的联邦学习方法，利用预训练模型作为本地模型的骨架，使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题，在客户端之间共享类别的嵌入向量，采用加噪声的隐私保护混合方法来保护隐私，最后在自建车辆数据集上进行全面评估。

    Jan, 2023

  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非IID数据分布中实现了高性能。

    Aug, 2023

  • 多层原型的动态异构联邦学习

    提出了一种名为Federated Multi-Level Prototypes (FedMLP) 的新型联邦学习框架，以应对异构数据分布和动态任务的联邦学习需求，并引入原型和语义原型来缓解概念漂移问题。

    Dec, 2023

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 协作方法：为了最大化跨边界联邦学习的泛化性能

    分布式联邦学习中，研究探讨了通过分组合作来提高模型的泛化性能，解决了数据异构性问题。

    Jan, 2024

  • 稳健联邦学习的进展：异质性考虑

    异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

    May, 2024

  • FedClust: 通过权重驱动的客户端聚类解决联邦学习中的数据异质性

    通过测量局部模型权重的相似性，一种名为FedClust的新型聚类联邦学习方法，通过在一个步骤中将客户端分组成簇的方式，解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题，并且相比其他最先进方法，FedClust在模型精度上提高了高达约45％，并且在收敛速度上具有显著降低的通信成本，最高可达2.7倍。

    Jul, 2024

  • 联邦聚类：针对去中心化数据分布的无监督聚类训练

    本研究解决了联邦学习在无监督场景下的应用不足，提出了一种新颖的联邦聚类方法，实现无标签和不均匀数据分布下跨多个客户端的完整类别识别。通过设计联邦聚类逐步精炼方法(FedCRef)，该方法显示出在无监督的联邦学习环境中显著提高数据表示精度的潜力。

    Aug, 2024