该研究探讨了基于设备对设备(D2D)网络的联邦学习,在分布式随机梯度下降算法实现中,利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进,并且在假设凸性和连通性的情况下提供了收敛性结果。
Jan, 2021
在分布式学习中,为了解决参数聚合带来的通信开销和单点故障问题,本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案,提出了一个解决方案,该方案在不同设备上实现了更好的性能表现,并消耗比传统聚合方案更少的能量。
Mar, 2024
比较无线联合学习中的数字和模拟通信方案,在资源受限网络中量化比较了它们的主要区别和应用场景,研究发现两种方案的基本区别在于是否联合设计了通信和计算,其中数字方案难以支持带宽有限的大量设备的同时上行传输,而模拟通信允许空中计算,实现了高效的频谱利用,但计算导向的模拟传输会降低功率效率,并且对计算误差敏感。通过数值模拟验证了这些理论观察结果。
Feb, 2024
提出一种采用分布式训练(DFL)的通用分散式最随机梯度下降(SGD)框架,它可以解决在多个节点中进行通信和本地更新的平衡,具有压缩通信和强收敛保证的特点。
Jul, 2021
提出了一种处理异构用户设备数据的联邦学习算法,同时结合对微波资源分配问题的优化,实现了收敛速率和能耗之间的平衡,并用 Tensorflow 实验验证了该算法的理论分析和优化表现。
Oct, 2019
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式,使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练,通过适应路径损耗、衰落、阻挡和干扰等因素的技术,在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。
Feb, 2020
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
研究了在现实无线网络上训练联邦学习算法的问题,提出了一种联合学习、无线资源分配和用户选择的优化问题,并获得了期望收敛速率的闭式表达式,从而实现最小化 FL 损失函数的最优用户选择和上行资源块分配。
Sep, 2019
在无线设备到设备(D2D)网络中,去中心化联邦学习(DFL)作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习(CFL)降低了由于通信瓶颈而导致的中央服务器故障的风险。然而,DFL 面临着许多挑战,如多样环境中数据分布的严重异质性,以及 D2D 网络中采用用户数据报协议(UDP)导致的传输中断和包错误等。为了解决这些挑战,我们对 DFL 进行了全面的理论收敛性分析,并推导出一个收敛限。在该收敛限中,我们定义了一种称为不可靠链路感知邻域差异的新颖量,并制定了一个可解的优化目标,开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法,命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性,实验结果与我们的理论发现相一致,显示出了提高收敛速度和测试精度。
Dec, 2023
本文综述性地介绍了分散化联合学习的定义、方法、挑战、变体、技术和研究方向。通过在客户端之间建立直接通信的去中心化网络结构,分散化联合学习能够省略中心服务器,降低通信开销并实现较高的学习效率和隐私保护。
Jun, 2023