May, 2021

基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

PDF
TL;DR本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。
发现论文，激发创造
  • FedP3：基于模型异构的联邦化个性化和隐私友好的网络剪枝

    本研究关注于联邦学习中的客户端模型异质性问题，并提出了适用于模型异质性场景的有效、适应性强的联邦框架 FedP3 及其差分隐私变体 DP-FedP3，并从理论上验证了它们的高效性。

    Apr, 2024

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 部分个性化联邦学习：打破数据异构的诅咒

    本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

    May, 2023

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • FedPrune：走向包容性联邦学习

    提出了一种叫作 FedPrune 的系统，通过剪枝全局模型来解决 Federated learning 中的系统异构和统计异构所引起的问题，并利用中心极限定理的洞见来实现在非独立同分布数据上的强健性性能，并与 Federated Averaging 相比，FedPrune 提供了更好的鲁棒性和公平性。

    Oct, 2021

  • 模型剪枝实现本地化和高效化联邦学习，用于收成预测和数据共享

    本文提出一种新的技术解决方案，利用客户端模型的网络修剪和聚合来解决在农业食品领域中数据异构性所带来的问题，该方法可以提高 15.5％至 20％的推理性能，并将本地模型大小减少高达 84％和客户端和服务器之间通信的数据量减少 57.1％至 64.7％。

    Apr, 2023

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022