无线网络分布式学习:广播与随机接入的影响
该研究探讨了分布式学习在无线网络中的通信方面,使用基于共识的分布式随机梯度下降法(D-SGD)。为了实现算法的快速收敛性,我们提出了一种名为 BASS 的高效通信框架,其中利用广播传输和概率子图抽样,在每次迭代中激活多个无干扰节点的子集将模型更新广播给它们的邻居。与现有的基于链路调度方法相比,在无线信道的广播特性下,利用相同数量的传输时间槽创建更多的通信链路能够加快分布式学习的收敛速度。
Oct, 2023
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式,使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练,通过适应路径损耗、衰落、阻挡和干扰等因素的技术,在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。
Feb, 2020
本研究在有限的功率和带宽条件下,探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习,提出了 D-DSGD 和 A-DSGD 两个方法,其中 A-DSGD 采用了一项新颖的模拟方案,比 D-DSGD 更快地收敛,并表现出更好的鲁棒性和可扩展性。
Jan, 2019
研究将分布式随机梯度下降算法应用于无线网络中的性能表现,探讨对传输干扰和噪声等方面进行优化的方法,选用 OAC-MAC 算法来实施无线计算,并将调度问题转化为图着色问题,并通过 MNIST 图像分类任务的实验来验证方法的可行性和有效性。
Mar, 2020
通过优化通信链路的混合权重,提出了一种被称为 Soft-DSGD 的鲁棒性分散式随机梯度下降方法,它能够在通信不可靠的情况下实现相同的渐近收敛速率的分散式训练系统,同时利用所有可用的非可靠通信链路加速收敛。
Aug, 2021
本研究提出了一种名为 BASS 的基于广播的子图采样方法,用于加快分散式随机梯度下降的收敛速度,并考虑每次迭代的实际通信成本。BASS 通过创建一组混合矩阵候选集,表示基本拓扑图的稀疏子图,实现了一种在共识迭代中的采样决策,激活多个无冲突的节点子集。与现有的基于链路的调度方法相比,BASS 在较少的传输时隙内实现了更快的收敛。总结起来,无线信道的广播特性在加速分散式优化和学习的收敛过程中具有固有优势。
Jan, 2024
研究了一种无线协作机器学习的方法,其中移动边缘设备通过带有参数服务器的无线接入点进行分布式随机梯度下降算法。提出使用模拟 DSGD 方案,利用无码方式在无线信道上传输梯度估计;通过使用多个天线来减轻破坏性的信道衰落效应,缓解了信道状态信息不足的问题,并实现了模型参数的更新。理论分析和实验结果均表明,多个 PS 天线可以缓解衰落效应。
Jul, 2019
本文研究了在无线网络边缘的联邦机器学习,其中有限功率的无线设备,每个设备具有自己的数据集,并利用远程参数服务器(PS)建立联合模型。文章提出了各种技术来实现分布式随机梯度下降(DSGD),其中包括数字 DSGD(D-DSGD)和压缩模拟 DSGD(CA-DSGD)算法,并通过实验数据表明 CA-DSGD 算法收敛速度更快,达到更高的精度。
Jul, 2019
提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法,并研究了噪声和信道失真对算法收敛性的影响,确定了通信和采样的复杂度以找到一个近似稳定点,并通过模拟结果展示了算法的有效性。
Oct, 2023
该研究探讨了基于设备对设备(D2D)网络的联邦学习,在分布式随机梯度下降算法实现中,利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进,并且在假设凸性和连通性的情况下提供了收敛性结果。
Jan, 2021