Oct, 2020

个性化联邦学习的下界和最优算法

PDF
TL;DR本研究考虑了最近由 Hanzely 和 Richtarik (2020) 提出的个性化联邦学习的优化问题，并为该模型的通讯复杂度和本地预测通用复杂度建立了第一个下界。我们设计了几种最优方法来匹配这些下界，并通过大量的数字实验展示了我们的方法的实用优越性。
personalized federated learningoptimization formulationlocal sgd methodslower boundsoptimal methods
发现论文，激发创造
  • 混合全局和局部模型的联邦学习

    提出针对联邦学习模型的新型优化公式，通过寻求全局模型与本地模型之间的平衡，使各参与设备能够从其私有数据中学习，而不需要通信。此方法类似于联邦平均 /local SGD，但能够改善具有异构数据的问题的通信，同时发现个性化能够降低通信复杂度。

    Feb, 2020

  • 个性化联合学习：统一框架和普适的优化技术

    本文研究对个性化 Federated Learning 进行优化，提出了通用的优化器，应用于现有的针对个性化 Federated Learning 的目标函数，包括局部 SGD、加速坐标下降 / 加速 SVRCD 等，得到适用于文献中所有基于强凸个性化 FL 模型的普适优化理论，提高了通信效率和本地计算效率。

    Feb, 2021

  • 联邦学习中的个性化改善隐私 - 准确性权衡

    研究分布式机器学习系统，并基于修正的随机优化算法实现私人级联学习，在保证局部模型私密性的同时，与全局模型进行协调，提升了准确性和隐私保护的平衡。

    Feb, 2022

  • 可证明的个性化和强健联邦学习

    本文提出采用简单的基于阈值的聚类算法以及本地客户端梯度的方法来解决联邦学习个性化问题，在保证最优收敛保障的同时，算法具有健壮性。

    Jun, 2023

  • 自适应个性化联邦学习

    本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

    Mar, 2020

  • 关于联邦学习的原则性本地优化方法

    本篇论文以三个方向推动本地方法的理论基础：（1）建立 FedAvg 的尖锐界限；（2）提出了 FedAvg 的有原则的加速方法 FedAc；（3）研究了扩展经典平滑设置的 Federated Composite Optimization 问题。

    Jan, 2024

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • 通信高效联邦学习的改进推广界限

    本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部分采用不同的聚合频率来降低通信成本，并通过实验结果证明了 FedALS 的有效性。

    Apr, 2024

  • 异构网络中的联邦优化

    本研究介绍了 FedProx 框架，用于解决联合学习网络中异构性的问题，并提供了实现更稳健收敛的收敛保证和效果验证。

    Dec, 2018