基于动态正则化的联邦学习
在分布式机器学习技术中,联邦学习(FL)要求客户端在边缘服务器上协同训练共享模型,而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性,并通过实验结果表明,在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比,我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升,而且在异质设置下具有快速收敛速度。
Jul, 2023
提出针对联邦学习模型的新型优化公式,通过寻求全局模型与本地模型之间的平衡,使各参与设备能够从其私有数据中学习,而不需要通信。此方法类似于联邦平均 /local SGD,但能够改善具有异构数据的问题的通信,同时发现个性化能够降低通信复杂度。
Feb, 2020
本研究提出了一种称为联邦优化的新的分布式机器学习设置,其中优化定义的数据分布在大量节点之间,通过少量通信轮次训练高品质集中模型,本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点,并为未来的联邦优化研究提供了借鉴。
Oct, 2016
用于解决联邦学习中数据隐私问题导致的设备端数据无法被中心服务器使用的问题,本文提出了一种基于估计方案的设备选择算法,以最小化类别不平衡来提高联邦学习全局模型的收敛性能。
Nov, 2020
通过在设备上联合学习一种新的联邦学习算法,可以通过仅传递参数来训练全局模型,从而保持设备数据的私密性,这可以减少通信参数的数量并降低数据方差和设备分布差异,同时兼顾对隐私和公平性的要求。
Jan, 2020
为克服联邦学习中数据异构和不平衡的问题,本文提出了一种新的构架规范技术,通过在每个本地模型中构建多个辅助分支,并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致,进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架,并且不会产生额外的通信成本。实验结果表明,与现有方法相比,该技术具有显着的准确性和效率提高。
Jul, 2022