May, 2021

基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

HTML
PDF
TL;DR本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。
发现论文，激发创造
  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • 个性化联合学习与背景化泛化

    本文提出了一种名为上下文化泛化（CG）的新概念，旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架，在多个现实世界的数据集上进行了实验，证明了该方法在测试精度上显著优于最先进的方法。

    Jun, 2021

  • 自适应专家模型用于联邦学习中的个性化

    该研究提出了一种针对非IID数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非IID环境中，我们的方法仍然能够比本地模型获得高达4.38％的精度优势。

    Jun, 2022

  • 动态个性化联邦学习与激励

    本文介绍了一种名为DyPFL的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022

  • 使用类原型在联邦学习中解决数据异构性

    本文提出了一种名为FedNH的新方法，通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。

    Dec, 2022

  • 部分个性化联邦学习：打破数据异构的诅咒

    本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

    May, 2023

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 基于层次贝叶斯的个性化联邦无监督学习

    我们开启了对个性化无监督学习的系统研究，通过基于层次贝叶斯统计框架的优化准则，开发了一种自适应算法，在使用有限的本地数据和协作信息之间寻找平衡。我们在个性化降维和个性化扩散模型的背景下开发了我们的自适应算法，并对其进行了收敛性分析，揭示了问题参数（例如，异质性，本地样本大小）的依赖关系。我们还为个性化扩散模型开发了一个理论框架，展示了即使在异质性下也能从协作中获益。最后，我们使用合成和真实数据评估了我们提出的算法，展示了通过协作诱发的针对个性化任务的有效样本放大，尽管数据异质性存在。

    Feb, 2024

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的/测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • 通过子网络实现个性化热身以增强异构联邦学习

    本研究解决了异构联邦学习中的数据异质性对收敛性造成的显著障碍。我们提出了一种个性化热身阶段，通过学习个性化掩码并只更新全模型的子网络，从而帮助参与者专注于适应数据异质性的特定子网络。实证结果表明，该方法在准确性和收敛速度上均优于标准的联邦优化方法。

    Oct, 2024