May, 2024

面向客户驱动的联邦学习

PDF
TL;DR本论文提出了一个名为 Client-Driven Federated Learning (CDFL) 的新颖联邦学习框架，用于解决传统的服务器驱动模式面临的异步需求与模型更新的挑战。在该框架中，每个客户端都独立地异步更新其模型，通过将本地训练的模型上传到服务器并接收到针对其本地任务定制的模型。通过维护聚类模型库并使用接收到的客户端模型进行迭代优化，该框架能够适应客户数据分布的复杂动态，并在新任务中实现快速自适应和卓越性能。与传统的集群化联邦学习协议发送多个聚类模型进行分布估计相比，我们提出了一种将估计任务卸载到服务器并仅向客户端发送单个模型的新策略，并介绍了提高估计准确性的新方法。论文通过理论分析证明了 CDFL 的收敛性，并在各种数据集和系统设置上的大量实验中展示了该框架在模型性能和计算效率方面的显著优势。
发现论文，激发创造
  • 聚类联邦学习：在隐私约束下的模型无关分布式多任务优化

    本研究提出了一种基于聚类的联邦多任务学习框架（Clustered Federated Learning），可在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上进行实验证明了其有效性。

    Oct, 2019

  • 混合联邦与集中式学习

    提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

    Nov, 2020

  • 部分参与下加速混合联邦学习的收敛

    本文提出了一种名为 FedCLG 的新算法，它可以在类似于混合 FL 的情形下防止部分参与的限制，同时保护客户隐私并实现模型聚合。数值实验表明，该算法胜过现有方法。

    Apr, 2023

  • 联邦与集中式学习的混合架构

    本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。

    May, 2021

  • 异步多服务器联邦学习用于地理分布式客户端

    提出了一种全新的异步架构的多服务器联邦学习系统，解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题，与之前的基线方法相比，收敛速度更快且在地理分布环境中所需时间减少了 61%。

    Jun, 2024

  • 利用群组并行联邦学习提升客户参与度

    通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行实际追踪和非 IID 数据分布的详细实验，研究了队列数量、模型准确性、训练时间、计算和通信资源之间的平衡。与传统 FL 相比，CPFL 在拥有四个队列、非 IID 数据分布和 CIFAR-10 的情况下，减少了约 1.9 倍的训练时间和约 1.3 倍的资源使用，只有微小的测试准确率下降。

    May, 2024

  • 使用对比学习方法的预训练模型联邦学习

    本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

    Sep, 2022

  • 实时找到最佳任务分配：面向分簇联邦学习的整体框架

    通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

    Oct, 2023

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

    FedClust 是一种聚类联邦学习方法，利用局部模型权重和客户数据分布之间的相关性将客户分组成簇，并动态地实时适应新加入的客户，实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。

    Mar, 2024