变分联合多任务学习
本文提出了基于贝叶斯推断的层次生成模型和 FedVI 算法,该算法通过变分推断训练模型并结合 PAC-Bayes 分析提供了更好的泛化性能。作者还在 FEMNIST 和 CIFAR-100 数据集上进行了实验验证,结果显示 FedVI 在图像分类任务上的表现超过了现有算法。
May, 2023
本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战,提出了一种适用于多任务学习的优化方法 MOCHA,并在考虑通信成本、慢设备和容错性等实际系统问题的前提下,实现了比替代方法更显著的加速效果。
May, 2017
该研究提出了一种基于混合模型假设的联邦多任务学习方法,该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛,同时在联邦学习基准测试中获得了更高的准确性和公平性。
Aug, 2021
本文介绍了一种 Bayesian nonparametric framework,用于 federated learning 问题,其通过 neural networks 对每个数据服务器提供的本地权值进行建模,并且提出了一种推理方法,以在单个通信回合或很少的通信回合中合成更多表达性的全局网络。这种方法在两个流行的图像分类数据集的 federated learning 问题上得到了很好的应用效果。
May, 2019
本文研究了联邦学习的个性化变种,在 Model-Agnostic Meta-Learning 框架下,通过个性化 Federated Averaging 算法,根据不同用户数据的分布差异,探讨其性能的影响。
Feb, 2020
本文提出了一种名为 pFedBayes 的新型个性化联合学习方法,采用贝叶斯变分推理,通过引入权重不确定性来减轻模型过拟合的问题,在满足客户端全局分布的 KL 散度的同时,通过平衡私有数据的构造误差来更新其本地分布参数,理论分析说明了平均泛化误差的上界和收敛速度,实验结果表明,该方法在个性化模型方面表现出色,相较于其他先进的个性化方法,例如在非 i.i.d. 有限的数据下,pFedBayes 在 MNIST、FMNIST 和 CIFAR-10 上分别比其他 SOTA 算法的结果更好,分别提高了 1.25%、0.42% 和 11.71%。
Jun, 2022
该研究旨在探讨如何在联邦学习中结合变分贝叶斯网络,为不同聚合设置提供基准,并从三个图像分类数据集的实证结果中观察聚合分布的扩展程度对学习过程的影响。
Jun, 2022
通过引入联邦贝叶斯神经网络(FedBNN)的连续框架,本研究通过将本地和历史数据分布的知识持续集成到单个模型中,从而在学习新的数据分布的同时保留了对历史分布的性能,实现了在联邦学习和持续学习中降低遗忘的最先进结果。
May, 2024
通过提出集中式的、基于神经网络的联邦学习系统,利用边缘计算减少中央服务器的负载,同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。
Nov, 2023
在 Federated Learning 中,我们提出了一个统计模型来解决异构数据分布和拜占庭机器等统计和计算挑战。在此基础上,我们提出了一个优化算法来解决该问题,并获得了比非拜占庭鲁棒算法更好的估计误差。
Jun, 2019