Oct, 2023

非对称分散式联邦学习

TL;DR基于不对称拓扑结构和Push-Sum协议,DFedSGPSM算法以解决共识优化问题为目标,结合Sharpness Aware Minimization(SAM)优化器和本地动量,提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下,DFedSGPSM算法以O(1/√T)的收敛速率收敛于全局最优解,而更好的拓扑连接性能会得到更严格的上界。在MNIST、CIFAR10和CIFAR100数据集上进行的大量实验表明,与最先进的优化器相比,我们的算法具有更优越的性能。