一位压缩感知的通信高效去中心化联邦学习
本研究提出了Sparse Ternary Compression (STC),一种针对Federated Learning环境的新型压缩框架。实验表明,STC在常见Federated Learning场景下,即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低,也比Federated Averaging表现更佳。此外,即使客户端持有iid数据并使用中等大小的批次进行训练,STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度,表现超越了Federated Averaging。
Mar, 2019
本研究考虑了一种基于无线边缘网络的多对一联合学习架构,并提出了基于 SGD 的带限制坐标下降算法以适应无线通信资源。研究者还通过联合优化功率分配和学习速率以减少通信误差,并发现跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件。最后,他们提出了一些可行的分布式解决方案来对该问题进行优化。
Feb, 2021
提出一种采用分布式训练(DFL)的通用分散式最随机梯度下降(SGD)框架,它可以解决在多个节点中进行通信和本地更新的平衡,具有压缩通信和强收敛保证的特点。
Jul, 2021
提出了一种基于去中心化通信协议的个性化联邦学习框架,利用个性化稀疏掩码为每个用户的本地模型进行定制,进一步节省通信和计算成本,并在不同复杂度的本地客户端上达到更好的个性化性能。
Jun, 2022
通过使用新的DFL算法,DFedADMM和DFedADMM-SAM,我们解决了去中心化联邦学习中的局部一致性和局部异构过拟合的问题,并在MNIST、CIFAR10和CIFAR100数据集上验证了算法在泛化性能和收敛速度方面的优越表现。
Aug, 2023
在高度普及的边缘场景中,缺乏中央控制器和预定的设备连接导致了复杂的网络结构,我们提出了一种通信高效的分散式联邦学习(DFL)算法来解决由数据和不同训练历史引起的异构学习难题,研究结果表明,与竞争方法相比,我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。
Dec, 2023
我们引入FedComLoc算法,集成了实用和有效的压缩技术到Scaffnew算法中,以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
提出了一种新颖的DA-DPFL稀疏到更稀疏的训练方案,通过动态聚合逐渐减少模型参数,从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低,并在测试准确性上明显优于DFL基准。
Apr, 2024