Feb, 2022
联邦学习中的模型更新回收：梯度子空间是否低秩？
Recycling Model Updates in Federated Learning: Are Gradient Subspaces
Low-Rank?
TL;DR本文介绍了一种称为“回顾梯度乘法”的算法，该算法利用中央模型训练中的梯度空间低秩特性，在联邦学习的模型更新周期之间启用梯度回收，将大参数的传输减少到单个标量进行聚合，进而减少了通信开销并提高了模型性能。实验结果表明，“回顾梯度乘法”在几个数据集和深度学习模型上可以比传统的联邦学习获得更好的通信开销。