Apr, 2024

Federated Learning 中的模型聚合和个性化（含不完整类别）

PDF
TL;DR在联邦学习中，我们提出了一种名为 MAP 的算法，旨在解决分布在不完整类别数据上的模型聚合和个性化挑战，通过引入限制性 softmax 替代标准 softmax 以提高模型聚合效果，并利用继承的个性化模型来存储个性化经验。大量实验证明了我们算法的优越性。
federated learningnon-i.i.d. dataincomplete classesrestricted softmaxinherited private model
发现论文，激发创造
  • FedMAP：通过双层映射优化解锁个性化联邦学习的潜力

    一个基于双层优化的贝叶斯个性化联邦学习框架，利用全局模型作为先验分布，在个性化客户模型的最大后验估计中集成共享知识，从而增强本地模型性能、泛化能力和通信效率，以解决联邦学习中非独立同分布数据带来的挑战。

    May, 2024

  • 面向用户的联合学习：以个性化为代价进行无线资源交换

    本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

    Apr, 2023

  • 自适应专家模型用于联邦学习中的个性化

    该研究提出了一种针对非 IID 数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非 IID 环境中，我们的方法仍然能够比本地模型获得高达 4.38％的精度优势。

    Jun, 2022

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 利用模型压缩解决联合学习中的会员推导攻击

    基于研究成果，我们提出了一种新的隐私感知性联邦学习方法 $ exttt {MaPP-FL}$，通过在客户端上利用模型压缩并在服务器上保持完整模型，实现了同时保护客户端和服务器隐私的功能，并取得了有竞争力的分类准确性。

    Nov, 2023

  • 面向个性化联邦学习的参数化知识传递

    提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

    Nov, 2021

  • 联邦图像分类中个性化的深入研究

    本文提出了一种名为 RepPer 的独立的两阶段个性化联邦学习框架，其中包括非独立同分布数据（Non-IID data）对全局模型的表示学习的危害，并分离了表示学习和分类器学习，从而实现了个性化，并且在各种数据集和异构数据设置上的实验表明，RepPer 在非独立同分布数据上的灵活性和个性化方面优于其他方法。

    Apr, 2022

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • 异构和长尾数据上的多层个性化联邦学习

    MuPFL 是一种创新的个性化联邦学习框架，通过多层次结构完全利用不同层次的计算资源，解决数据异质性对模型偏差的影响，缓解过拟合、加速训练，提高分类准确性，并在非独立同分布和长尾条件下取得显著的有效性和效率方面的进展。

    May, 2024

  • pFedSim: 面向个性化联邦学习的相似性感知模型集成

    提出一种结合局部模型聚合与神经网络解耦技术的个性化联邦学习算法 (pFedSim)，在保护数据隐私的前提下，显著提高模型精度且计算和通信开销低。

    May, 2023