本研究在有限的功率和带宽条件下,探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习,提出了 D-DSGD 和 A-DSGD 两个方法,其中 A-DSGD 采用了一项新颖的模拟方案,比 D-DSGD 更快地收敛,并表现出更好的鲁棒性和可扩展性。
Jan, 2019
研究了一种无线协作机器学习的方法,其中移动边缘设备通过带有参数服务器的无线接入点进行分布式随机梯度下降算法。提出使用模拟 DSGD 方案,利用无码方式在无线信道上传输梯度估计;通过使用多个天线来减轻破坏性的信道衰落效应,缓解了信道状态信息不足的问题,并实现了模型参数的更新。理论分析和实验结果均表明,多个 PS 天线可以缓解衰落效应。
Jul, 2019
本文研究了在无线网络边缘的联邦机器学习,其中有限功率的无线设备,每个设备具有自己的数据集,并利用远程参数服务器(PS)建立联合模型。文章提出了各种技术来实现分布式随机梯度下降(DSGD),其中包括数字 DSGD(D-DSGD)和压缩模拟 DSGD(CA-DSGD)算法,并通过实验数据表明 CA-DSGD 算法收敛速度更快,达到更高的精度。
本研究侧重于分散学习的通信方面,探讨了广播传输和概率随机访问策略对分布式随机梯度下降 (D-SGD) 收敛性能的影响,结果表明,优化访问概率能够极大地加速系统的收敛速度。
May, 2023
该研究探讨了分布式学习在无线网络中的通信方面,使用基于共识的分布式随机梯度下降法(D-SGD)。为了实现算法的快速收敛性,我们提出了一种名为 BASS 的高效通信框架,其中利用广播传输和概率子图抽样,在每次迭代中激活多个无干扰节点的子集将模型更新广播给它们的邻居。与现有的基于链路调度方法相比,在无线信道的广播特性下,利用相同数量的传输时间槽创建更多的通信链路能够加快分布式学习的收敛速度。
Oct, 2023
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式,使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练,通过适应路径损耗、衰落、阻挡和干扰等因素的技术,在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。
Feb, 2020
本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法,通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题,数值评估结果表明该算法与最先进的分布式优化方法相比,运行时间可提速至多 3 倍。
本研究针对大型无线网络上的多路访问信道(MAC)上的分布式学习问题,开发了一种新颖的 GBMA 算法,通过使用共同波形传输局部梯度的模拟函数来更新估计,GBMA 不需要功率控制或波束成形来消除衰落效应,并直接处理噪声失真的梯度。我们在理论上分析了 GBMA 的性能,并证明了它可以接近中心梯度下降(GD)算法的收敛速度,在大型网络中确立了误差的有限样本界限。此外,当节点数量增加时,我们还提供了逼近中心收敛速度的能量缩放定律。最后,实验结果支持了理论发现,并使用合成和真实数据展示了 GBMA 的强大性能。
Aug, 2019
提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法,并研究了噪声和信道失真对算法收敛性的影响,确定了通信和采样的复杂度以找到一个近似稳定点,并通过模拟结果展示了算法的有效性。
本文提出了一种数字化无线计算方案,使用均衡数系统中相应数字的平均值来近似计算一组实数参数的平均值,并使用该方案将本地梯度编码为一组数字,以确定活动的正交频分复用子载波的位置,同时不需要精确的采样级时间同步、信道估计开销和功率不稳定性,并演示其在联邦边缘学习(FEEL)中的性能。
Sep, 2022