Oct, 2019

聚类联邦学习：在隐私约束下的模型无关分布式多任务优化

PDF
TL;DR本研究提出了一种基于聚类的联邦多任务学习框架（Clustered Federated Learning），可在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上进行实验证明了其有效性。
federated learningclustered federated learningprivacydeep neural networksmulti-task learning
发现论文，激发创造
  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • FedClust: 通过权重驱动的客户端聚类优化非 IID 数据上的联邦学习

    FedClust 是一种聚类联邦学习方法，利用局部模型权重和客户数据分布之间的相关性将客户分组成簇，并动态地实时适应新加入的客户，实验结果表明 FedClust 在准确性和通信成本方面优于基线方法。

    Mar, 2024

  • 随机聚合联邦学习

    本文提出了一种针对非独立同分布问题的新型聚类联邦学习方法 StoCFL，它实现了一种灵活的 CFL 框架，支持不同比例的客户端参与和新客户端加入，而且在保持模型性能的同时获得了良好的聚类结果。

    Mar, 2023

  • 通过多维个性化边缘模型实现更公平和有效的联邦学习

    本文提出了一种个性化的联邦学习（CFL）系统，通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决 FL 在多个维度上的异质性问题。实验证明，CFL 在 FL 训练和边缘推断方面具有全栈优势，并显著改进了模型准确性（在非异构环境中高达 7.2％，在异构环境中高达 21.8％）、效率和公平性。

    Feb, 2023

  • 混合联邦与集中式学习

    提出一种混合联邦和集中式学习（HFCL）框架，采用先进的数据传输方法并在计算资源不足时使用集中式学习方法，以有效地训练学习模型，并在所有客户端合作的同时提高学习准确度。

    Nov, 2020

  • 实时找到最佳任务分配：面向分簇联邦学习的整体框架

    通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

    Oct, 2023

  • 利用群组并行联邦学习提升客户参与度

    通过将网络划分为较小的分区或队列，CPFL 提出了一种新的学习方法，其中每个队列独立地使用 FL 来培训全局模型，直到收敛，然后使用一次性的知识蒸馏和跨领域、无标签的数据集将各队列生成的模型统一起来。它通过在 CIFAR-10 数据集上进行实际追踪和非 IID 数据分布的详细实验，研究了队列数量、模型准确性、训练时间、计算和通信资源之间的平衡。与传统 FL 相比，CPFL 在拥有四个队列、非 IID 数据分布和 CIFAR-10 的情况下，减少了约 1.9 倍的训练时间和约 1.3 倍的资源使用，只有微小的测试准确率下降。

    May, 2024

  • 联邦学习的进展：模型、方法和隐私

    本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

    Feb, 2023

  • FedAC：一种适应性聚类的异构数据联邦学习框架

    在本文中，我们提出了一种自适应的聚类联邦学习框架，名为 FedAC，它通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识融合到簇内学习中，同时采用一种经济高效的在线模型相似度度量基于降维技术，以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明，相较于现有方法，FedAC 在不同的非独立同分布设置下，CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。

    Mar, 2024

  • 面向客户驱动的联邦学习

    本论文提出了一个名为 Client-Driven Federated Learning (CDFL) 的新颖联邦学习框架，用于解决传统的服务器驱动模式面临的异步需求与模型更新的挑战。在该框架中，每个客户端都独立地异步更新其模型，通过将本地训练的模型上传到服务器并接收到针对其本地任务定制的模型。通过维护聚类模型库并使用接收到的客户端模型进行迭代优化，该框架能够适应客户数据分布的复杂动态，并在新任务中实现快速自适应和卓越性能。与传统的集群化联邦学习协议发送多个聚类模型进行分布估计相比，我们提出了一种将估计任务卸载到服务器并仅向客户端发送单个模型的新策略，并介绍了提高估计准确性的新方法。论文通过理论分析证明了 CDFL 的收敛性，并在各种数据集和系统设置上的大量实验中展示了该框架在模型性能和计算效率方面的显著优势。

    May, 2024