Feb, 2021

个性化联合学习：统一框架和普适的优化技术

PDF
TL;DR本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。
federated learningpersonalizationoptimizationcommunication efficiencylocal computation
发现论文，激发创造
  • 自适应个性化联邦学习

    本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

    Mar, 2020

  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • 个性化联邦学习的下界和最优算法

    本研究考虑了最近由 Hanzely 和 Richtarik (2020) 提出的个性化联邦学习的优化问题，并为该模型的通讯复杂度和本地预测通用复杂度建立了第一个下界。我们设计了几种最优方法来匹配这些下界，并通过大量的数字实验展示了我们的方法的实用优越性。

    Oct, 2020

  • 联邦学习中的本地适应性：收敛和一致性

    本文探讨在联邦学习中使用自适应优化方法对于本地更新的影响，指出自适应优化方法虽然可以加速模型收敛，但可能导致解决方案出现偏差，为此提出了纠正技术以克服这种不一致性，并在现实联合训练任务上进行了广泛实验，结果表明与没有局部自适应性的基线相比，所提出的算法可以实现更快的收敛和更高的测试准确性。

    Jun, 2021

  • 部分个性化联邦学习：打破数据异构的诅咒

    本文介绍了一种部分个性化的联邦学习（FL）方法，旨在在个性化和全局训练的灵活性之间取得平衡，并提出了一种简单的算法来解决数据异构性问题。

    May, 2023

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 自我感知个性化联邦学习

    本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

    Apr, 2022

  • 局部 SGD：统一理论和新高效方法

    该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

    Nov, 2020

  • 具有服务器端信息的个性化联邦学习

    研究个性化联邦学习中如何利用服务器数据来提高 meta-gradient 计算以增加个性化性能的 FedSIM 方法，并通过各种基准测试和消融实验证明其优于现有方法，不仅计算效率更高，而且收敛速度高达 34.2％。

    May, 2022

  • 面向用户的联合学习：以个性化为代价进行无线资源交换

    本文设计了以用户为中心的聚合规则，基于可用的梯度信息，为每个联邦学习客户端生成个性化模型，并得出了一种课通信高效的变体，以优于流行的个性化联邦学习基线的平均正确性，最差节点性能和训练通信开销。

    Apr, 2023