渲染有用的无线环境:一种零阶随机联邦学习方法
本文研究了在无线网络边缘的联邦机器学习,其中有限功率的无线设备,每个设备具有自己的数据集,并利用远程参数服务器(PS)建立联合模型。文章提出了各种技术来实现分布式随机梯度下降(DSGD),其中包括数字DSGD(D-DSGD)和压缩模拟DSGD(CA-DSGD)算法,并通过实验数据表明CA-DSGD算法收敛速度更快,达到更高的精度。
Jul, 2019
本研究融合可重构智能表面技术,通过优化设备选择、空中计算设计和表面配置,解决了基于空中计算的联邦学习存在的瓶颈问题,取得了显著的学习准确度提升。
Nov, 2020
该研究探讨了基于设备对设备(D2D)网络的联邦学习,在分布式随机梯度下降算法实现中,利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进,并且在假设凸性和连通性的情况下提供了收敛性结果。
Jan, 2021
本研究考虑了一种基于无线边缘网络的多对一联合学习架构,并提出了基于 SGD 的带限制坐标下降算法以适应无线通信资源。研究者还通过联合优化功率分配和学习速率以减少通信误差,并发现跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件。最后,他们提出了一些可行的分布式解决方案来对该问题进行优化。
Feb, 2021
本文提出了一种基于随机梯度估计器的多次本地更新和部分设备参与的无导数联邦零阶优化算法(FedZO),并介绍了一种适用于无线网络的空气计算辅助FedZO算法。在非凸设置下,研究了FedZO算法的收敛性能,并表征了本地迭代次数和参与边缘设备数量对收敛性的影响。
Jan, 2022
提出了一种基于高度稀疏操作的ZeroFL框架,用于加速On-device训练,使Federated Learning能够训练高性能机器学习模型,并提高了精度。
Aug, 2022
本研究使用增量Hessian估计器在协同训练集中设计第一个估计全局目标曲率的零阶联邦学习算法,以达到超线性收敛,通过在Stiefel流形中对随机搜索方向进行采样以提高性能。我们通过使用同步的伪随机数生成器以一种通信高效和隐私保护的方式,在中央服务器上构建梯度和Hessian估计器。我们对我们的算法进行了理论分析,命名为FedZeN,证明了具有高概率的局部二次收敛和全局线性收敛的零阶精度。数值模拟验证了超线性收敛速率,并表明我们的算法优于文献中可用的零阶联邦学习方法。
Sep, 2023
本研究解决了在缺乏梯度信息的情况下,当前零阶优化方法中估计错误较高的问题。通过提出一种非各向同性采样方法,以历史解轨迹作为子空间进行梯度估计,从而改善收敛性。研究结果表明,该方法在联邦设置中的收敛速度与现有方法相当,并且在通信和本地计算上没有显著的额外开销。
Sep, 2024
本研究解决了联邦学习中上传方向的通信瓶颈及能量消耗问题,提出了一种零阶优化方法,允许每个设备每次迭代仅需上传一个量化的单标量,而不是整个梯度向量。我们的实验与理论证明表明,该方法在通信开销和能量消耗方面优于传统的基于梯度的联邦学习方法。
Sep, 2024
本研究针对大规模无线多址信道上的联邦学习面临的带宽限制造成的通信效率低下、通信噪声以及数据异质性等问题,提出了一种名为联邦邻近草图化(FPS)的新方法。此方法通过使用计数草图数据结构,实现高效压缩和准确估计重要坐标,并在理论与实验中证明其优越性,有效提升了在无线信道上进行联邦学习的性能。
Oct, 2024