基于无线 D2D 网络的分散联邦学习

Feb, 2020

基于无线 D2D 网络的分散联邦学习

Decentralized Federated Learning via SGD over Wireless D2D Networks

Hong Xing, Osvaldo Simeone, Suzhi Bi

TL;DR本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Abstract

federated learning (FL), an emerging paradigm for fast intelligent acquisition at the network edge, enables joint training of a machine learning model over distributed data sets and computing resources with limited disclosure of local data. Communication is a critical enabler of large-

federated learning edge computing wireless communication decentralized stochastic gradient descent over-the-air computing

发现论文，激发创造

基于无线设备间网络的联邦学习算法与收敛分析

该研究探讨了基于设备对设备（D2D）网络的联邦学习，在分布式随机梯度下降算法实现中，利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进，并且在假设凸性和连通性的情况下提供了收敛性结果。

Jan, 2021

不可靠通信的分散联邦学习

通过优化通信链路的混合权重，提出了一种被称为 Soft-DSGD 的鲁棒性分散式随机梯度下降方法，它能够在通信不可靠的情况下实现相同的渐近收敛速率的分散式训练系统，同时利用所有可用的非可靠通信链路加速收敛。

Aug, 2021

分散式联邦学习：平衡通讯与计算成本

提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。

Jul, 2021

无线衰落信道上的联邦学习

本文研究了在无线网络边缘的联邦机器学习，其中有限功率的无线设备，每个设备具有自己的数据集，并利用远程参数服务器（PS）建立联合模型。文章提出了各种技术来实现分布式随机梯度下降（DSGD），其中包括数字 DSGD（D-DSGD）和压缩模拟 DSGD（CA-DSGD）算法，并通过实验数据表明 CA-DSGD 算法收敛速度更快，达到更高的精度。

Jul, 2019

分散式联邦学习的调度和通信方案

分布式机器学习模式中的分布式学习是指许多客户端与中央服务器协同工作，以学习模型而无需共享自己的训练数据。本文介绍了一种采用随机梯度下降算法的分散式联邦学习（DFL）模型，作为一种更可伸缩的方法，以改善带有任意拓扑结构的代理网络中的学习性能。针对客户端和并行服务器之间的通信，提出了三种 DFL 调度策略，并在完全分散的 SGD 实现中对收敛性、准确性和损失进行了测试。实验结果表明所提出的调度策略对收敛速度和最终全局模型均有影响。

Nov, 2023

边缘机器学习：基于分布式随机梯度下降的空中传输

本研究在有限的功率和带宽条件下，探索了运用多个边缘设备进行分布式随机梯度下降算法的联邦机器学习，提出了 D-DSGD 和 A-DSGD 两个方法，其中 A-DSGD 采用了一项新颖的模拟方案，比 D-DSGD 更快地收敛，并表现出更好的鲁棒性和可扩展性。

Jan, 2019

无线网络上资源受限去中心化联邦学习的性能分析

通过比较数字和模拟传输过程，分析了资源受限分散式联邦学习在通信效率方面的性能，并讨论了通信条件下如何优化系统参数以提高性能。

Aug, 2023

无线网络联合学习：有限带宽协调下降方法

本研究考虑了一种基于无线边缘网络的多对一联合学习架构，并提出了基于 SGD 的带限制坐标下降算法以适应无线通信资源。研究者还通过联合优化功率分配和学习速率以减少通信误差，并发现跨不同子载波的最佳功率分配应同时考虑梯度值和信道条件。最后，他们提出了一些可行的分布式解决方案来对该问题进行优化。

Feb, 2021

基于强化学习的无监督联邦学习智能信息交换

使用强化学习的方法，在无监督的分布式机器学习环境中创建一个最优化的数据传输图，以提高收敛速度和对故障的鲁棒性。

Feb, 2024

基于合作式 D2D 本地模型聚合的半分散式联邦学习

本文提出一种称作 TT-HF 的半分散式学习结构，将常规的设备与服务器的通信范例与设备对设备的通信（D2D）结合起来，通过本地集群内的合作分布式 D2D 通信进行模型训练，利用新的渐进上界控制算法平衡步长、通信轮数和全局聚合周期来追求亚线性的渐进收敛率 O (1/t) 及尽量减少网络资源利用，而实验结果表明，TT-HF 在各种本地设备数据集统计异质性场景下，在模型精度和 / 或网络能耗方面均明显优于当前固有的联邦学习方法，对于由于信道衰落造成的中断以及非凸失真函数，TT-HF 的数值测试都表现良好。

Mar, 2021