概念匹配:基于聚类的联邦持续学习
Federated Continual Learning (FCL) integrates federated learning and continual learning to address the challenge of data privacy and silos, by fusing heterogeneous knowledge from different clients and retaining knowledge of previous tasks while learning on new ones, through methods such as synchronous FCL and asynchronous FCL.
Dec, 2023
本文提出了一种名为 FedSeIT 的框架,用于在云边界连续性中的文本分类任务中,通过选择性地结合外部客户的模型参数来最大化知识传输并提高表现,采用 Federated Learning 和 Continual Learning 两种范例,以在客户端之间进行有效的知识传递
Oct, 2022
本文研究了分布式概念漂移下的联邦学习,提出了两种新的聚类算法以适应数据异质性和时间变化的漂移,并且通过实验验证表明它们的准确性显著优于现有的基线算法,接近理想算法。
Jun, 2022
通过使用集群对比模型来学习友好的聚类表示,并以此为基础,提出了一种新的联邦聚类方法,称为集群对比联邦聚类(CCFC),其聚类性能甚至在某些情况下是最佳基准方法的两倍,并且在处理设备故障方面也显示出卓越的性能。
Jan, 2024
提出一种混合联邦和集中式学习(HFCL)框架,采用先进的数据传输方法并在计算资源不足时使用集中式学习方法,以有效地训练学习模型,并在所有客户端合作的同时提高学习准确度。
Nov, 2020
本文关注于联邦聚类问题,提出了一种用于联邦学习的延伸模糊 C 均值算法,并通过数值实验评估了其行为,其中一种方法即使在复杂情况下也能够确定良好的全局聚类中心,但也认识到许多挑战的问题仍然存在。
Jan, 2022
设计了一个支持个性化语义通信的联邦对比学习 (FedCL) 框架,它通过在多个客户端之间协作训练本地语义编码器和基站所拥有的全局语义解码器来实现。该框架不需要客户端模型聚合,支持异构语义编码器。此外,为了解决分布式客户端间异构数据集引起的语义不平衡问题,我们采用对比学习训练语义质心生成器 (SCG)。该生成器获得代表性的全局语义质心,具有内语义紧凑性和跨语义可分离性。因此,它为学习有区分性的本地语义特征提供优越的监督。此外,我们进行了理论分析,量化了 FedCL 的收敛性能。仿真结果验证了所提出的 FedCL 框架在任务性能和稳健性方面相对于其他分布式学习基准的优越性,尤其在低信噪比和高度异构数据场景下。
Jun, 2024
本文提出了一种更高效的混合联邦与集中学习(HFCL)方法来解决客户端计算资源不足的情况,该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器,从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。
May, 2021
为解决联合学习中的非独立同分布数据对连续增加的新类别分类任务所带来的 “灾难性遗忘” 问题,提出了一种名为 TARGET 的方法,其通过先前训练的全局模型在模型层次上为当前任务传输旧任务的知识并利用生成器产生合成数据来模拟全局分布,同时保护客户数据隐私,适用于数据敏感场景。
Mar, 2023
本论文提出了一个名为 Client-Driven Federated Learning (CDFL) 的新颖联邦学习框架,用于解决传统的服务器驱动模式面临的异步需求与模型更新的挑战。在该框架中,每个客户端都独立地异步更新其模型,通过将本地训练的模型上传到服务器并接收到针对其本地任务定制的模型。通过维护聚类模型库并使用接收到的客户端模型进行迭代优化,该框架能够适应客户数据分布的复杂动态,并在新任务中实现快速自适应和卓越性能。与传统的集群化联邦学习协议发送多个聚类模型进行分布估计相比,我们提出了一种将估计任务卸载到服务器并仅向客户端发送单个模型的新策略,并介绍了提高估计准确性的新方法。论文通过理论分析证明了 CDFL 的收敛性,并在各种数据集和系统设置上的大量实验中展示了该框架在模型性能和计算效率方面的显著优势。
May, 2024