本研究基于多用户联合学习模型,旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略,得以精确定制不同节点的资源分配,减少通信开销,提高学习效率。
Jan, 2020
研究提出了一种基于联邦学习的量化算法FTTQ和三值联邦平均协议T-FedAvg,能够显著降低联邦学习系统的通信成本,并在IID数据上实现微小的性能提升。
Mar, 2020
本文从原始对偶优化角度提出一种新的机器学习算法策略来解决分布式学习过程中的非凸问题,使得此算法成为分布式学习架构中所有特性最优秀的算法框架,并且具有通信效率。
May, 2020
本文提出一种基于压缩全局模型的损失型联邦学习算法(LFL),该算法相对于完全无损方法,使用较少的通信资源来实现相同的收敛性。
Jun, 2020
通过定期压缩通信的算法,分析其收敛性并探讨其与局部计算的关系,提出了一种本地梯度追踪方案,以缓解数据异质性,实现了更快的收敛速度和更好的算法效果。
Jul, 2020
本文介绍了一种名为自适应联邦Dropout(AFD)的新型技术,用于减少联邦学习中与通信成本相关的问题,此策略与现有压缩方法相结合可以提供高达57倍的收敛时间,同时还改善了模型泛化。
Nov, 2020
本文提出了一种基于贝叶斯的联合学习算法(BFL)和一种高效的改进算法(Scalable-BFL),通过优化均方误差,聚合异构的离散梯度信息,在MNIST数据集上的模拟实验中,这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。
Dec, 2020
我们提出了一种新的联邦学习方法,通过动态正则化器在限制设备异构性和大量设备、部分参与和不平衡数据的同时,在凸和非凸情况下实现了高效训练。
Nov, 2021
本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对FL算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
调查分析了通信高效的联合学习方法,定义了通信效率的度量方法并提供了系统全面的分类和评述,讨论了提高联合学习系统通信效率的未来研究方向。
May, 2024