Apr, 2024

FedMeS: 基于本地内存的个性化联邦连续学习

PDF
TL;DR个性化联合持续学习（PFCL）的问题是一个分布式客户端组，每个客户端都有一系列的本地任务和任意数据分布，通过一个中央服务器合作训练每个客户端的个性化模型，而这个模型需要在所有本地任务中表现良好。我们提出了一个名为联合记忆增强 FedMeS 的新型 PFCL 框架，以解决客户漂移和灾难性遗忘的挑战。在 FedMeS 中，每个客户端使用少量本地内存来存储来自先前任务的样本，并利用这些信息来同时：1) 校准训练过程中的梯度更新；2) 执行基于 KNN 的高斯推断以促进个性化。FedMeS 被设计为任务无关的，这意味着相同的推断过程适用于所有任务的样本，以取得好的性能。FedMeS 在理论上进行了分析并进行了实验评估。实验证明，在各种数据集、任务分布和客户端数量的组合中，它在平均准确性和遗忘率方面优于所有基线模型。
personalized federated continual learningpfclfederated memory strengthening fedmesclient driftcatastrophic forgetting
发现论文，激发创造
  • 本地记忆化的个性化联邦学习

    通过利用深度神经网络从非表格数据（如图像和文本）提取高质量特征向量来提出一种基于本地记忆的个性化机制，该机制与基于全局模型的交叉训练相结合，使用局部ｋ- 近邻模型实现个性化，并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。

    Nov, 2021

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 个性化异步联合学习

    在异步更新的条件下，我们研究了个性化联邦学习问题。我们考虑了两种基于优化的个性化框架，并通过去除同步通信的假设和扩展函数类来提高其可扩展性。我们的主要技术贡献是确定性地证明，对于平稳和非凸函数类，我们的方法可以收敛到一阶稳定点，同时实验证明了我们的方法的性能和对过时数据的容忍度。

    Oct, 2022

  • 个性化的 Moreau 信封联邦学习

    该研究提出了一种基于 Moreau envelopes 的个性化联邦学习算法 (pFedMe)，用于解决客户端之间的统计差异性问题并实现个性化模型优化和全局模型学习的分离，该算法在理论上已证明具有先进的收敛速度，在实验中也证明在表现上优于 vanilla FedAvg 和 Per-FedAvg 等算法。

    Jun, 2020

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 个性化联邦持续学习多层粒度提示

    个性化联邦连续学习是一个新的实际场景，对于知识的共享和个性化提出了挑战。我们提出了一种多粒度提示的方法，通过协同模型学习获得粗粒度全局提示，用于高效传输共享的全局知识，并通过细粒度的本地提示个性化学习以克服时序遗忘。我们还设计了一种选择性提示融合机制，通过独特的粗粒度知识融合实现了共享知识的传输和提炼，从而提高了个性化性能。实验结果表明，我们的方法在解决空时遗忘和改善个性化性能方面是有效的。

    Jun, 2024

  • 本地训练中减轻遗忘的联邦学习加速

    本文提出了 FedReg 算法来解决分布式学习中的灾难性遗忘问题，通过在本地训练阶段使用生成的伪数据作为正则化器，以保护用户隐私并提高算法的收敛速度。

    Mar, 2022

  • 基于稀疏模型自适应的高效个性化联邦学习

    提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

    May, 2023

  • FedCM: 客户级动量的联邦学习

    本文提出了一种名为 FedCM 的新型联邦平均算法，用于解决现实世界联邦学习应用中的部分参与和客户异质性问题。它在以前的通信轮次中聚合全局梯度信息，并修改客户端梯度下降，可以有效地纠正偏差并提高本地 SGD 的稳定性。作者提供了理论分析和广泛的实证研究表明，FedCM 在各种任务中均具有卓越的性能，并且对不同的客户数量、参与率和客户异质性具有鲁棒性。

    Jun, 2021