本研究提出了Sparse Ternary Compression (STC),一种针对Federated Learning环境的新型压缩框架。实验表明,STC在常见Federated Learning场景下,即使客户端持有非iid数据、使用小的batch size进行训练或参与率较低,也比Federated Averaging表现更佳。此外,即使客户端持有iid数据并使用中等大小的批次进行训练,STC仍在更少的训练迭代和更小的通信预算内实现了固定目标准确度,表现超越了Federated Averaging。
Mar, 2019
通过定期压缩通信的算法,分析其收敛性并探讨其与局部计算的关系,提出了一种本地梯度追踪方案,以缓解数据异质性,实现了更快的收敛速度和更好的算法效果。
Jul, 2020
通过使用压缩技术来减少通信成本,我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡,为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子,它们都能达到最低下界,并在实验中取得了很好的效果。
Oct, 2020
本论文研究在联邦学习中使用非均匀的重要性采样策略,证明此策略能够提高算法性能,并在回归和分类问题上进行实验来说明理论结果。
本文提出了一种名为FedCLG的新算法,它可以在类似于混合FL的情形下防止部分参与的限制,同时保护客户隐私并实现模型聚合。数值实验表明,该算法胜过现有方法。
Apr, 2023
在可扩展联邦学习中,我们利用客户端和服务器之间的密切联系,提出一种框架,将客户端的分布与服务器的先数据分布进行了比较,大大减少了通信开销,同时保证了测试精度。
Jun, 2023
通过多样的虚拟学习方法,本文提出了对压缩联邦学习算法进行改进的方法,并验证了其在通信和计算复杂性方面的出色表现。
Aug, 2023
在本文中,我们提出了一种名为FedCOME的共识机制,通过在服务器端对客户端的梯度进行微调,保证了每轮训练后每个客户端的风险减少;我们还设计了一种新的客户端采样策略,将共识机制推广到部分参与的联邦学习场景,有效地减少了未被选中的客户端的风险。通过在四个基准数据集上进行广泛实验证明了FedCOME在效果、效率和公平性方面优于其他最先进的方法。
Nov, 2023
该研究论文介绍了稀疏训练和加速通信在Federated Learning中的整合方法Sparse-ProxSkip,并在大量实验证明了其良好性能。
May, 2024
本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下,导致的性能下降和延迟问题,提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码,显著提升了模型准确性,最大提升达13%,并加快了收敛速度,为未来的通信高效联邦学习研究奠定了基础。
Aug, 2024