研究一种算法家族——局部更新方法,证明其对于二次目标表现出随机梯度下降,设计了新的收敛速度来平衡模拟损失函数的条件数与真实损失函数之间的差距,并在实验中展示了适当的学习率调整对于达到最优行为的重要性以及自适应学习率衰减的实用方法.
Jul, 2020
通过定期压缩通信的算法,分析其收敛性并探讨其与局部计算的关系,提出了一种本地梯度追踪方案,以缓解数据异质性,实现了更快的收敛速度和更好的算法效果。
通过使用压缩技术来减少通信成本,我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡,为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子,它们都能达到最低下界,并在实验中取得了很好的效果。
Oct, 2020
根据局部更新系数和梯度压缩稀疏预算之间的权衡方式,提出了一种新的快速联邦学习方案(Fast FL),该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明,Fast FL能够快速且一致地实现比文献中类似方案更高的精确度。
May, 2021
本论文系统地研究了通信成本和模型准确性之间的权衡,提出了一种自适应网络压缩率最大化最终模型准确性的框架,根据实验结果,这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。
Dec, 2021
传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠,本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法,有效提升了收敛速度。
Feb, 2024
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
我们引入FedComLoc算法,集成了实用和有效的压缩技术到Scaffnew算法中,以进一步提高通信效率。通过使用流行的TopK压缩器和量化技术进行广泛实验,证明了在异构环境中大幅减少通信开销的能力。
Mar, 2024
提出了一种自适应压缩的通信高效联邦学习算法(称为AdapComFL),通过每个客户端进行带宽感知和带宽预测,并通过改进的草图机制对本地模型进行自适应压缩,实现服务器对接收到的不同大小的草图模型进行聚合,实验证明AdapComFL相比现有算法在通信效率和准确性上更具竞争力。
May, 2024
本研究针对现有联邦学习中的数据压缩方法在带宽异质性和非独立同分布数据下,导致的性能下降和延迟问题,提出了一个带宽感知的压缩框架。该方法通过动态调整压缩比和引入参数掩码,显著提升了模型准确性,最大提升达13%,并加快了收敛速度,为未来的通信高效联邦学习研究奠定了基础。
Aug, 2024