自适应联邦学习在空中的应用通过无线信道特性的迭加性以及动态调整的全局梯度更新步长,我们提出了一种适用于无线环境下的模型训练框架中AdaGrad和Adam的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率,我们得出了使用AdaGrad的算法以O(ln(T)/T^(1-1/α))的速率收敛到一个静止点,其中α代表电磁干扰的尾指数。相比之下,类似Adam的算法以O(1/T)的速率收敛,说明它在加快模型训练过程上的优势。我们进行了大量实验证实了理论发现,并证实了我们提出的联邦自适应梯度方法的实际有效性。
Mar, 2024