FAM:快速自适应元学习
本文研究了联邦学习的个性化变种,在 Model-Agnostic Meta-Learning 框架下,通过个性化 Federated Averaging 算法,根据不同用户数据的分布差异,探讨其性能的影响。
Feb, 2020
通过利用深度神经网络从非表格数据(如图像和文本)提取高质量特征向量来提出一种基于本地记忆的个性化机制,该机制与基于全局模型的交叉训练相结合,使用局部k- 近邻模型实现个性化,并且在二元分类情况下给出了一般化边界。在一系列联合数据集上实验证明了这种方法的准确性和公平性显著优于现有的状态 - of-the-art 方法。
Nov, 2021
本文提出了一种基于个性化的联邦学习方法,通过层次化的变分推理对异构客户端进行建模,并借助贝叶斯元学习技术提取共性结构,将其转移到各自的任务中,从而生成准确的客户端特定近似后验分布,该方法在大量实证研究中显示出卓越性能。
Jul, 2023
该论文研究了联邦学习(FL)的个性化策略问题,并介绍了一种通过元网络(meta-nets)在 FL 网络中学习个性化策略的框架,该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明,该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。
Oct, 2023
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本文提出了一种自适应个性化联邦学习算法,采用局部和整体模型混合的方法来提高模型的个性化能力,并使用通信高效的最优化方法来协同学习个性化模型,实验证明了该算法的有效性与泛化理论的正确性。
Mar, 2020
我们提出了一个新的去中心化个性化在线联邦学习设置,用于在在线环境中学习,在每个客户端上学习个性化模型,并在去中心化环境中学习。我们解决了两个技术挑战:如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数,并通过学习的聚合权重选择最有帮助的邻居减少通信成本。
Nov, 2023
本文探讨了通过元学习算法为联邦学习实现个性化的可能性。结果表明,联邦平均算法可以被解释为一种元学习算法,并且通过细致的微调,可以得到更准确、更易于个性化的全局模型。
Sep, 2019
本文提出了一个联邦元学习框架 FedMeta,其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战,并在数据集上进行广泛实证研究,结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升,并对用户隐私进行保护。
Feb, 2018
在异步更新的条件下,我们研究了个性化联邦学习问题。我们考虑了两种基于优化的个性化框架,并通过去除同步通信的假设和扩展函数类来提高其可扩展性。我们的主要技术贡献是确定性地证明,对于平稳和非凸函数类,我们的方法可以收敛到一阶稳定点,同时实验证明了我们的方法的性能和对过时数据的容忍度。
Oct, 2022