Feb, 2024

针对统计异质性的个性化联邦学习

HTML
PDF
TL;DR联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
发现论文，激发创造
  • 联邦学习的个性化技术综述

    本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

    Mar, 2020

  • 走向个性化联邦学习

    本综述论文研究了个性化联邦学习（PFL）的领域，着重解决异构数据带来的基本问题，通过分类和分析PFL技术，提出其关键挑战和机会，并展望了未来研究的发展方向。

    Mar, 2021

  • 个性化联合学习与背景化泛化

    本文提出了一种名为上下文化泛化（CG）的新概念，旨在为每个客户端提供更好地适合本地数据分布和更快模型收敛的细粒度上下文知识。作者还提出了CGPFL框架，在多个现实世界的数据集上进行了实验，证明了该方法在测试精度上显著优于最先进的方法。

    Jun, 2021

  • GPFL：针对个性化联邦学习同时学习全局和个性化特征信息

    提出了一种名为GPFL的新的个性化联邦学习方法，该方法在每个客户端上同时学习全局和个性化的特征信息，并在六个数据集上展示了GPFL在效果、可扩展性、公平性、稳定性和隐私方面优于十种最先进方法的优越性，此外，GPFL能够减轻过拟合问题，准确率比基线方法提高了8.99%。

    Aug, 2023

  • PPFL: 面向异构人群的个性化联邦学习框架

    在本文中，我们基于联邦学习的范式，通过使用规范模型来捕捉异质人群的基本特征并利用会员向量揭示客户的偏好，开发了一个灵活且可解释的个性化框架 PPFL（Population Personalized Federated Learning），并探索了与多任务 PFL、聚类 FL 和解耦 PFL 三个主要分支的关系，证明了 PPFL 的优势。我们提出了一个新颖的随机块坐标下降算法来解决 PPFL（一个非凸约束优化问题）并给出了收敛性质。通过在病理数据集和实际数据集上进行实验，结果验证了 PPFL 的有效性。

    Oct, 2023

  • 个性化联邦学习基于堆叠

    使用堆叠泛化的新型个性化方法，在保护隐私的情况下，直接发送模型来训练元模型，并在水平、混合和垂直分区联邦中适用各种模型类型和隐私保护技术，从而创建更适合个体客户数据的多个模型，并通过多方面评估每位客户对联邦的贡献。

    Apr, 2024

  • 稳健联邦学习的进展：异质性考虑

    异构联邦学习领域中，关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念，并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外，我们探讨了现有最先进的方法如何应对异构联邦学习的异质性，并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后，本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后，本文讨论了目前存在的开放问题和未来研究方向，旨在推动异构联邦学习的进一步发展。

    May, 2024

  • 通过个性化联邦原型修正解决偏斜异构性

    本研究针对联邦学习中数据层异构性的问题，提出了一种新的联邦原型修正方法与个性化相结合的方案，称为偏斜异构联邦学习（SHFL）。该方法通过构建平衡的决策边界和修正经验原型，显著提高了个性化与普适性的平衡表现，超越了当前的先进技术。

    Aug, 2024

  • 个性化联邦学习技术：实证分析

    本文针对个性化联邦学习（pFL）在平衡内存开销与模型准确性方面的挑战，提供了实证分析。通过评估十种主流pFL技术，研究表明个性化聚合方法在通信和计算效率上具有最快收敛速度，而其他方法如微调和多目标学习则在数据异质性和资源消耗方面存在局限，强调了通信效率在pFL扩展中的关键作用。

    Sep, 2024

  • 个性化联邦学习与自适应特征聚合及知识转移

    本研究解决了个性化联邦学习中统计异质性对模型性能的影响，提出了一种新方法：个性化联邦学习与自适应特征聚合及知识转移（FedAFK）。该方法通过平衡全局模型知识与本地数据个性化的关系，显著提高了在非独立同分布数据上的个性化模型性能。

    Oct, 2024