多分辨率模型广播的联邦学习
本研究基于多用户联合学习模型,旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略,得以精确定制不同节点的资源分配,减少通信开销,提高学习效率。
Jan, 2020
本文研究了联合学习中带宽受限的广播通道对性能的影响,提出了数字和模拟两种下行传输方法,并证明了模拟方法的收敛性更好,尤其在数据分布不均和设备能够更好地估计全局模型时性能更优。
Aug, 2020
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析,并通过实验评估了FL定制上行和下行通信设计的巨大优势,其中包括1位量化(浮点基线带宽的3.1%)在MNIST上实现了99.8%的浮点基线准确度,代表着作者所知的最佳带宽-准确度平衡。
Dec, 2020
本研究旨在回答联邦学习在上下行通信均存在错误的情况下,可以处理多少通信噪声,以及对学习性能的影响。通过将上行和下行噪声通道明确地纳入联邦学习管道中,提出了几种新的联邦学习收敛性分析。结果表明,为了保持与无通信错误的理想情况相同的收敛行为,需要控制直接模型传输的上行和下行信噪比,使其随通信轮数的指数t的平方数量级增长,但可以在模型差分传输中保持不变。这些理论结果的关键洞察力是“低调飞行”原则 - 随机梯度下降是一种内在的嘈杂过程,只要上行/下行通信噪声不占支配地位,就可以容忍它们。
Jan, 2021
本研究考虑了一种基于无线边缘网络的多对一联合学习架构,并提出了基于 SGD 的带限制坐标下降算法以适应无线通信资源。研究者还通过联合优化功率分配和学习速率以减少通信误差,并发现跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件。最后,他们提出了一些可行的分布式解决方案来对该问题进行优化。
Feb, 2021
本文提出了一种训练过程,利用频道统计信息作为偏差来减小联邦机器学习模型的收敛时间,并通过数值实验证明可以通过忽略不能维持最小预定传输速率的客户端的模型更新来减少训练时间,同时研究参与训练的客户端数量与模型精度之间的权衡关系。
Apr, 2021
本文主要研究联邦学习中的非凸优化问题,提出了一种简单的算法FedPBC来解决在通信不稳定情况下Federated Average无法最小化全局目标函数的问题。该算法通过延迟全局模型广播来实现隐式的客户之间的消息传递,从而达到了预期的收敛特性。
Jun, 2023
本文提出了基于信噪比控制策略的联邦学习收敛率提高方法,并探讨了传输中的非完美通信对联邦学习收敛率的影响,结果发现下行通信噪声对于收敛有更严重的影响。
Jul, 2023
本文提出了一种联邦学习框架,通过数字通信实现空中计算,采用新的联合信源-信道编码方案。该方案利用晶格编码量化模型参数并利用设备间的干扰,显著提高了学习精度,尤其在不同的信道动态和数据异质性情况下,优于其他空中传输方法。
Sep, 2024