基于通信压缩的随机控制平均的联邦学习
本研究提出了 Sparse Ternary Compression (STC),一种针对 Federated Learning 环境的新型压缩框架。实验表明,STC 在常见 Federated Learning 场景下,即使客户端持有非 iid 数据、使用小的 batch size 进行训练或参与率较低,也比 Federated Averaging 表现更佳。此外,即使客户端持有 iid 数据并使用中等大小的批次进行训练,STC 仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度,表现超越了 Federated Averaging。
Mar, 2019
使用过空中计算的联邦学习方法,研究了在无线网络上进行联邦学习时由于信道衰落和噪声引起的模型聚合误差,包括收敛性、影响、收敛速率、传输方案和通信效率等方面,并通过仿真验证了理论结论。
Oct, 2023
根据局部更新系数和梯度压缩稀疏预算之间的权衡方式,提出了一种新的快速联邦学习方案(Fast FL),该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明,Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。
May, 2021
我们引入 FedComLoc 算法,集成了实用和有效的压缩技术到 Scaffnew 算法中,以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
通过引入控制变量技术,我们提出了一种新的算法(SCAFFOLD),减轻了 FedAvg 在异构数据(non-iid)上的不稳定性和慢收敛问题,从而使其需要的通信轮次大大减少,在分布式优化中新的成果是我们证明了 SCAFFOLD 可以利用客户端数据的相似性加速收敛。
Oct, 2019
本文研究了在一个现实的无线多输入多输出(MIMO)通信系统上部署联邦学习(FL)的性能优化,研究了使用数字调制和空中计算(AirComp)的 MIMO 系统,提出了一种组合数字调制和 AirComp 的修改联邦平均(FedAvg)算法来降低无线信道的淡化和确保通信效率。
Feb, 2023
本文探讨了在大规模联邦学习中由于通信过载而引起的压缩问题,提出了一种可减少噪声并提高拜占庭攻击鲁棒性的压缩梯度差分方法,并提供了理论证明和数值实验结果。
Apr, 2021
在本文中,我们提出了基于局部适应性和服务器端适应性的新的通信高效的联邦学习算法,通过使用新型协方差矩阵预处理器,我们的方法在理论上提供了收敛保证,并在 i.i.d. 和非 i.i.d. 设置下取得了最先进的性能。
Sep, 2023
Federated Learning 的通信成本问题在该论文中通过动态权重聚类和服务器端知识蒸馏的组合方法 FedCompress 得到解决,从而实现了降低通信成本并获得高度可泛化模型的学习。
Jan, 2024