多路衰落信道上的加速梯度下降学习
本研究针对大型无线网络上的多路访问信道(MAC)上的分布式学习问题,开发了一种新颖的 GBMA 算法,通过使用共同波形传输局部梯度的模拟函数来更新估计,GBMA 不需要功率控制或波束成形来消除衰落效应,并直接处理噪声失真的梯度。我们在理论上分析了 GBMA 的性能,并证明了它可以接近中心梯度下降(GD)算法的收敛速度,在大型网络中确立了误差的有限样本界限。此外,当节点数量增加时,我们还提供了逼近中心收敛速度的能量缩放定律。最后,实验结果支持了理论发现,并使用合成和真实数据展示了 GBMA 的强大性能。
Aug, 2019
研究了一种无线协作机器学习的方法,其中移动边缘设备通过带有参数服务器的无线接入点进行分布式随机梯度下降算法。提出使用模拟 DSGD 方案,利用无码方式在无线信道上传输梯度估计;通过使用多个天线来减轻破坏性的信道衰落效应,缓解了信道状态信息不足的问题,并实现了模型参数的更新。理论分析和实验结果均表明,多个 PS 天线可以缓解衰落效应。
Jul, 2019
本文研究了在无线网络边缘的联邦机器学习,其中有限功率的无线设备,每个设备具有自己的数据集,并利用远程参数服务器(PS)建立联合模型。文章提出了各种技术来实现分布式随机梯度下降(DSGD),其中包括数字 DSGD(D-DSGD)和压缩模拟 DSGD(CA-DSGD)算法,并通过实验数据表明 CA-DSGD 算法收敛速度更快,达到更高的精度。
Jul, 2019
本研究在有限的功率和带宽条件下,探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习,提出了 D-DSGD 和 A-DSGD 两个方法,其中 A-DSGD 采用了一项新颖的模拟方案,比 D-DSGD 更快地收敛,并表现出更好的鲁棒性和可扩展性。
Jan, 2019
本研究基于多用户联合学习模型,旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略,得以精确定制不同节点的资源分配,减少通信开销,提高学习效率。
Jan, 2020
在这项研究中,我们针对多路径 fading 信道进行了联合边缘学习的研究,通过引入一种创新的数字过空中计算策略,采用 q 进制正交幅度调制,提出了一种低时延通信方案。我们分析了消除无线通信中的 fading 所需的天线数量,并通过数值实验证实了理论的保证,证明了边缘服务器增加天线数量和采用高阶调制可以提高模型准确性达到 60%。
Nov, 2023
本文研究边缘设备协作学习中的无线联邦学习,其中利用无线接入点作为参数服务器,使用 “over-the-air” 聚合方案实现全局模型的积极性和设备间的协作,通过使用接收波束成形方案来补偿缺乏完美信道状态信息带来的破坏效应,证明该算法在具有足够天线数量的情况下可以改善其性能。
Oct, 2020
研究将分布式随机梯度下降算法应用于无线网络中的性能表现,探讨对传输干扰和噪声等方面进行优化的方法,选用 OAC-MAC 算法来实施无线计算,并将调度问题转化为图着色问题,并通过 MNIST 图像分类任务的实验来验证方法的可行性和有效性。
Mar, 2020
提出了一种通过无线信道共享本地信息并使用接收到的聚合波形来更新策略参数的无线联合策略梯度算法,并研究了噪声和信道失真对算法收敛性的影响,确定了通信和采样的复杂度以找到一个近似稳定点,并通过模拟结果展示了算法的有效性。
Oct, 2023
通过无线信道特性的迭加性以及动态调整的全局梯度更新步长,我们提出了一种适用于无线环境下的模型训练框架中 AdaGrad 和 Adam 的联邦版本。通过推导包含信道衰落和干扰影响的广泛非凸损失函数训练算法的收敛速率,我们得出了使用 AdaGrad 的算法以 O (ln (T)/T^(1-1/α)) 的速率收敛到一个静止点,其中 α 代表电磁干扰的尾指数。相比之下,类似 Adam 的算法以 O (1/T) 的速率收敛,说明它在加快模型训练过程上的优势。我们进行了大量实验证实了理论发现,并证实了我们提出的联邦自适应梯度方法的实际有效性。
Mar, 2024