计算-更新联邦学习:一种晶格编码方法
本研究基于多用户联合学习模型,旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略,得以精确定制不同节点的资源分配,减少通信开销,提高学习效率。
Jan, 2020
本文提出了一种注入结构编码冗余的编码计算框架CodedFedL,用于在MEC网络中进行非线性联合学习,通过利用计算统计属性和通信延迟,找到客户端处理的本地数据点数量和编码冗余量,从而加快训练过程中的收敛速度,并分析了CodedFedL的收敛率和迭代复杂度。
Nov, 2020
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析,并通过实验评估了FL定制上行和下行通信设计的巨大优势,其中包括1位量化(浮点基线带宽的3.1%)在MNIST上实现了99.8%的浮点基线准确度,代表着作者所知的最佳带宽-准确度平衡。
Dec, 2020
本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对FL算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
该论文介绍了一种通用的联邦学习框架,通过数字通信实现空中计算,使用了一种新的联合源通道编码方案。该方案不依赖于设备的信道状态信息,采用晶格码来对模型参数进行量化,并利用设备的干扰。服务器上设计了一种新颖的两层接收器结构,可可靠地解码量化的模型参数的整数组合作为晶格点进行聚合。数值实验验证了该方案的有效性。即使在信道条件和设备异质性带来的挑战下,该方案显著超越了其他空中联邦学习策略。
Mar, 2024
在本研究中,我们提出了一种名为FedMPQ的新型上行通信压缩方法,它基于多共享码本乘积量化。通过利用前一轮的更新来生成足够强健的码本,我们实现了安全聚合。与以往的方法相比,我们的方法在数据不独立且分布不一致(non-IID)且缺乏足够的公共数据的情况下表现出更高的鲁棒性。对LEAF数据集进行的实验证明,我们提出的方法在减少上行通信量的同时,实现了基准模型的99%最终准确度。
Apr, 2024
本研究解决了在无线信道条件影响下联邦学习的效率问题,提出了一种新型的空中计算联邦学习方案,该方案通过自适应加权聚合来提高学习性能,避免了需要发送信道状态信息的复杂性。研究表明,该方案在不同设备和信道条件下比现有策略提高了15%至30%的准确率,展现了其显著的优势和潜在影响。
Sep, 2024