May, 2024

异构环境中联邦学习的双段聚类策略

PDF
TL;DR提出了一种双段聚类（DSC）策略，通过首先根据异构通信条件对客户端进行聚类，然后通过样本大小和标签分布进行第二次聚类，以解决数据和通信异构性问题。实验结果表明，该策略可以提高联邦学习的收敛速度，在异构环境中相比经典聚类算法具有更高的准确性。
federated learningdistributed machine learningcommunication heterogeneityparameter transmissionconvergence rate
发现论文，激发创造
  • FedCCL：基于领域异质性的联邦双聚类特征对比

    通过引入聚类表示、局部聚类和全局信号等方法，本研究提出了一个双聚类特征对比的联邦学习框架，旨在解决非独立同分布数据的挑战，以跨客户知识共享和一致的全局指导为重点，实验结果表明，在域内和域间异质性下，该框架取得了可比或更高的性能提升。

    Apr, 2024

  • 利用本地更新的分层聚类来提高非独立同分布数据的联邦学习

    本文提出了一种修改的联邦学习 (FL+HC) 方法，通过引入分层聚类步骤将客户端分为相似的集群，然后对这些集群进行独立并行的训练，实现在非独立同分布的数据环境下的模型训练，通过该方法可以使模型的性能、收敛速度、精度都有所提升。

    Apr, 2020

  • 对应用于解决联邦学习中非独立同分布和异质数据特性的不同技术的综述

    联邦学习是一种机器学习方法，可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练，而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题，并探索了目前设计用于解决这些挑战的算法。

    Jan, 2024

  • 有效的半监督异构参与者联邦学习

    在资源受限环境中，通过介绍聚类正则化和全局更新频率适应的控制算法，我们提出了一种新的训练模型系统，用于解决联合学习中的数据非独立同分布和模型收敛性问题，该系统在减少训练时间和通信成本的同时提高了准确性。

    Jul, 2023

  • FedClust: 通过权重驱动的客户端聚类解决联邦学习中的数据异质性

    通过测量局部模型权重的相似性，一种名为 FedClust 的新型聚类联邦学习方法，通过在一个步骤中将客户端分组成簇的方式，解决了非独立同分布数据情况下不均匀数据分布导致的性能下降问题，并且相比其他最先进方法，FedClust 在模型精度上提高了高达约 45％，并且在收敛速度上具有显著降低的通信成本，最高可达 2.7 倍。

    Jul, 2024

  • 通过异质性引导的客户抽样加速非独立同分布联合学习

    提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。

    Sep, 2023

  • 基于分组串并训练的异构联邦学习

    本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Grouping (ICG) 算法来辅助分配，该算法利用重心等价定理简化 NP 难问题，实验结果表明 FedGSP 相比七种现有方法平均提高了 3.7％的准确率，并将训练时间和通信成本降低了 90％以上。

    Jan, 2022

  • 随机聚合联邦学习

    本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL，它实现了一种灵活的 CFL 框架，支持不同比例的客户端参与和新客户端加入，而且在保持模型性能的同时获得了良好的聚类结果。

    Mar, 2023

  • 实时找到最佳任务分配：面向分簇联邦学习的整体框架

    通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

    Oct, 2023

  • 高效异构联邦学习：一种基于匹配和分割学习的方法

    提出了一种新颖的拆分联邦学习（SFL）框架，它通过将具有不同计算资源的客户端配对，将神经网络模型逻辑分为两部分，每个客户端只计算分配给它的部分，从而显著提高了联邦学习的训练速度，并在独立相同分布（IID）和非 IID 数据分布中实现了高性能。

    Aug, 2023