本文旨在通过在上传之前对本地模型参数进行量化,最小化联邦学习的总收敛时间,以保证在所有全局轮次中的最小收敛时间。我们利用随机量化对 FL 算法的收敛性进行了收敛分析,同时综合优化了计算,通讯资源和量化比特数,以保证在所有全局轮次中的最小收敛时间,同时满足能源和量化误差的要求。我们对量化误差对收敛时间的影响进行了评估,并揭示了模型准确性与及时执行之间的平衡。此外,所提出的方法被证明与基线方案相比,可以加速收敛速度,并为量化误差容忍度的选择提供有用的见解。
Mar, 2022
本研究针对高斯多址信道上受局部差分隐私约束的联邦学习问题进行研究,通过研究发现,无线信道的叠加性质提供了两重好处:在保证用户隐私的情况下实现带宽高效的梯度聚合,并提出了一种私有无线梯度聚合方案,并研究了该方案的收敛速度、无线资源和隐私权衡的关系。
Feb, 2020
本文提出一种基于压缩全局模型的损失型联邦学习算法(LFL),该算法相对于完全无损方法,使用较少的通信资源来实现相同的收敛性。
Jun, 2020
本文重点研究了有关物理层量化和传输方法在无线联邦学习中的设计和分析,并通过实验评估了 FL 定制上行和下行通信设计的巨大优势,其中包括 1 位量化(浮点基线带宽的 3.1%)在 MNIST 上实现了 99.8%的浮点基线准确度,代表着作者所知的最佳带宽 - 准确度平衡。
Dec, 2020
通过使用量化的综合方法,联合上下行适应性量化以减少通信开销,我们优化了学习收敛性,并通过确定最优的上行和下行量化位数进行了通信能量约束。实验结果表明,所提出的联合上行和下行适应性量化策略与现有方案相比,能够节省高达 66.7% 的能量。
Jun, 2024
本文提出了一种基于贝叶斯的联合学习算法(BFL)和一种高效的改进算法(Scalable-BFL),通过优化均方误差,聚合异构的离散梯度信息,在 MNIST 数据集上的模拟实验中,这两种算法在异构网络上训练和测试神经网络时都比传统的随机梯度下降算法表现得更好。
本文旨在将联邦学习引入未来无线网络的设计中,为了在移动设备上进行能源高效的联邦学习提出了一种新颖的无线传输和权重量化的联合设计方法。通过建立混合整数规划问题,制定了灵活的权重量化计划,以最小化所有移动设备的联邦学习总能耗(计算 + 传输),同时保证模型性能和训练延迟。通过大量的模拟实验,验证了该方案的有效性。
本文研究了在无线网络边缘的联邦机器学习,其中有限功率的无线设备,每个设备具有自己的数据集,并利用远程参数服务器(PS)建立联合模型。文章提出了各种技术来实现分布式随机梯度下降(DSGD),其中包括数字 DSGD(D-DSGD)和压缩模拟 DSGD(CA-DSGD)算法,并通过实验数据表明 CA-DSGD 算法收敛速度更快,达到更高的精度。
Jul, 2019
研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题,并提出了一种迭代算法,以解决此优化问题,并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5%。
Nov, 2019
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023