联邦学习超越明星:基于全局集群采样的本地 D2D 模型一致性
本文提出一种称作 TT-HF 的半分散式学习结构,将常规的设备与服务器的通信范例与设备对设备的通信(D2D)结合起来,通过本地集群内的合作分布式 D2D 通信进行模型训练,利用新的渐进上界控制算法平衡步长、通信轮数和全局聚合周期来追求亚线性的渐进收敛率 O (1/t) 及尽量减少网络资源利用,而实验结果表明,TT-HF 在各种本地设备数据集统计异质性场景下,在模型精度和 / 或网络能耗方面均明显优于当前固有的联邦学习方法,对于由于信道衰落造成的中断以及非凸失真函数,TT-HF 的数值测试都表现良好。
Mar, 2021
本研究提出了一种基于多层聚类结构的分层式多阶段混合联邦学习方法,考虑了设备到设备通信,通过多圆形层次结构实现多阶段参数中继和局部同意来更新模型参数并与分布式控制算法协同运行,具有优越的资源利用率和收敛性能。
Jul, 2020
本文提出了一种基于设备采样和设备到设备卸载组合优化的联邦学习优化算法,通过优化采样节点和数据卸载配置来最大化 FedL 训练的准确性,有效提高了训练模型的准确性和资源利用率。
Jan, 2021
通过智能设备采样和设备之间的数据卸载,优化联邦学习的训练准确性以及数据处理和设备通信资源的消耗。通过图卷积网络学习网络属性、采样节点和设备之间的数据卸载之间的关系,该方法优于现有的文献中的设备采样方法。
Nov, 2023
本文介绍了一种用于分布式模型聚合的新方法,旨在处理分散式 Federated Learning 中的去中心化问题。方法采用异步、事件触发的共识迭代实现模型的分布式聚合,并通过异构通讯事件阈值权衡本地模型参数的变化,达到每次迭代的聚合收益最大化。理论上分析表明,该方法在分布式学习和图形共识文献中的标准假设下实现了全局最优学习模型的渐近收敛,而不需要对底层拓扑连接性有任何限制。相关数值结果表明,该方法相对于 FL 基线获得了大幅的通信要求改进。
Apr, 2022
在无线设备到设备(D2D)网络中,去中心化联邦学习(DFL)作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习(CFL)降低了由于通信瓶颈而导致的中央服务器故障的风险。然而,DFL 面临着许多挑战,如多样环境中数据分布的严重异质性,以及 D2D 网络中采用用户数据报协议(UDP)导致的传输中断和包错误等。为了解决这些挑战,我们对 DFL 进行了全面的理论收敛性分析,并推导出一个收敛限。在该收敛限中,我们定义了一种称为不可靠链路感知邻域差异的新颖量,并制定了一个可解的优化目标,开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法,命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性,实验结果与我们的理论发现相一致,显示出了提高收敛速度和测试精度。
Dec, 2023
提出一种合作的边缘 / 雾设备机器学习范例 — 合作联邦学习 (CFL),通过设备之间和设备与服务器之间的协作,实现模型 / 数据 / 资源池化机制,以解决边缘 / 雾网络中网络异构性问题,提高机器学习模型的质量和网络此消耗。同时,该范例还支持无标签数据和异构设备隐私等新功能。
Mar, 2023
本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式,使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练,通过适应路径损耗、衰落、阻挡和干扰等因素的技术,在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。
Feb, 2020
该研究探讨了基于设备对设备(D2D)网络的联邦学习,在分布式随机梯度下降算法实现中,利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进,并且在假设凸性和连通性的情况下提供了收敛性结果。
Jan, 2021