May, 2023

公平联邦学习能否降低个性化需求？

PDF
TL;DR本论文通过策略提出了 Personalisation-aware Federated Learning (PaFL) 的模型，在语言任务中减少了 50% 的表现不佳客户端的数量，在图像任务中也避免了表现不佳客户端数量翻倍的情况，提高了边缘设备参与联邦学习的效率并有望在未来实验和理论分析上得到更多的应用。
federated learningfair flpersonalisationpaflml models
发现论文，激发创造
  • 通过多维个性化边缘模型实现更公平和有效的联邦学习

    本文提出了一种个性化的联邦学习（CFL）系统，通过特殊设计的全局模型为每个客户定制个性化模型，采用在线训练的模型搜索辅助器和新型聚合算法，解决 FL 在多个维度上的异质性问题。实验证明，CFL 在 FL 训练和边缘推断方面具有全栈优势，并显著改进了模型准确性（在非异构环境中高达 7.2％，在异构环境中高达 21.8％）、效率和公平性。

    Feb, 2023

  • 动态个性化联邦学习与激励

    本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。

    Aug, 2022

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 通过本地适配挽救联合学习

    针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

    Feb, 2020

  • 通过去中心化的部分模型训练实现更适合个性化的联邦学习

    本文提出了一种名为 DFedAlt 的个性化联邦学习框架，采用分散的部分模型训练方法，取得了与目前最先进的基准模型相媲美或更好的状态。该算法通过依次更新共享和个性化参数，在点对点的方式构建局部个性化模型，同时采用局部 SAM（Sharpness Aware Minimization）优化器来更新共享参数，从而有效地解决了模型共享一致性不足和通信成本过高等问题。

    May, 2023

  • 走向个性化联邦学习

    本综述论文研究了个性化联邦学习（PFL）的领域，着重解决异构数据带来的基本问题，通过分类和分析 PFL 技术，提出其关键挑战和机会，并展望了未来研究的发展方向。

    Mar, 2021

  • 个性化先验隐藏信息联邦学习

    本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架，该框架针对异构数据问题进行建模，并应用 Bregman 散度约束来解决该问题。实验结果表明，在高斯先验和均值选择的一阶策略的前提下，pFedBreD 显著优于其他个性化联合学习算法。

    Nov, 2022

  • 自我感知个性化联邦学习

    本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

    Apr, 2022

  • 客户监督的联邦学习：朝着通用个性化模型

    通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

    Mar, 2024

  • 公平差分隐私联邦学习框架

    通过应用裁剪技巧与高斯机制来解决不包含验证数据的公平差分私有联邦学习框架的可能出现的偏见更新问题，同时审查了隐私和公平性在联邦学习中的相关工作，并强调了 MITIGATE 偏见和确保隐私的最新进展和方法。

    May, 2023