弹性约束元学习器用于联合学习
本文提出了一个联邦元学习框架 FedMeta,其中共享参数化算法而非全局模型以解决分布式移动设备网络中训练机器学习模型的统计和系统挑战,并在数据集上进行广泛实证研究,结果显示 FedMeta 相比于联邦平均 FedAvg 能够在 2.82-4.33 倍的通信成本和更快的收敛速度上取得 3.23%-14.84% 的准确性提升,并对用户隐私进行保护。
Feb, 2018
本文研究了联邦学习的个性化变种,在 Model-Agnostic Meta-Learning 框架下,通过个性化 Federated Averaging 算法,根据不同用户数据的分布差异,探讨其性能的影响。
Feb, 2020
该研究对联邦学习框架下聚合策略进行了全面的数学收敛分析,并通过与 FedAvg 进行分类任务的比较来评估其性能,得出了新的聚合算法,该算法可以通过区分客户端贡献的价值来修改其模型架构。
May, 2022
提出了一种将联邦学习与元学习技术相结合的新框架,通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活,从而实现了联邦学习的效率和泛化能力的提高。实验结果表明,与现有的联邦学习方法相比,这种方法在收敛速度和模型性能方面都有所提高,突出了将上下文信息和元学习技术融入联邦学习的潜力,为分布式机器学习范式的进步铺平了道路。
Dec, 2023
本文提出了一种基于个性化的联邦学习方法,通过层次化的变分推理对异构客户端进行建模,并借助贝叶斯元学习技术提取共性结构,将其转移到各自的任务中,从而生成准确的客户端特定近似后验分布,该方法在大量实证研究中显示出卓越性能。
Jul, 2023
本研究提出了联邦学习的自适应优化方法,包括 Adagrad,Adam 和 Yogi,并分析了它们在异构数据下的收敛性。研究结果突出了客户端异构性和通信效率之间的相互作用,并表明自适应优化器的使用可以显着提高联邦学习的性能。
Feb, 2020
该研究旨在解决联邦学习过程中的梯度偏差和目标分布方面的问题,通过提出一个无偏梯度聚合算法和控制的元更新过程,实现更快的收敛速度和更高的准确度,具有广泛的适用性和实验验证重要性。
Oct, 2019
该研究提出了一种名为 FedLaAvg 的简单分布式非凸优化算法,用于解决在移动环境下采用联邦学习时客户端不连续可用的问题,并证明了其达到了收敛速度为 $ O (E^{1/2}/(N^{1/4} T^{1/2}))$ 的水平。
Feb, 2020
该篇论文中提出了一种基于元学习的 Federated Learning 方法,针对一些问题如客户端异构性、难以调优的问题等,通过对客户端属性进行动态加权,进而调整更新步长的策略,相较于目前最先进的算法,在收敛速度和最终学习结果上均显著优于现有的算法。
Aug, 2022
本文介绍了 FedPer,一种基本 + 个性化层式的联邦深度前馈神经网络训练方法,旨在对抗数据异质性的负面影响,提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。
Dec, 2019