Jul, 2024
面向8位浮点数的设备端训练和通信的联邦学习
Towards Federated Learning with On-device Training and Communication in
8-bit Floating Point
TL;DR探讨了在联邦学习环境中使用8位浮点数（FP8）进行训练的方法，该方法不仅可以有效地训练神经网络并减少计算开销，还能通过显著的权重压缩来减少客户端和服务器之间的通信成本。实验结果表明，与FP32基准相比，在各种任务和模型上，我们的方法始终能够至少将通信开销降低2.9倍。