基于合作式 D2D 本地模型聚合的半分散式联邦学习

MMMar, 2021

基于合作式 D2D 本地模型聚合的半分散式联邦学习

Semi-Decentralized Federated Learning with Cooperative D2D Local Model Aggregations

Frank Po-Chen Lin, Seyyedali Hosseinalipour, Sheikh Shams Azam, Christopher G. Brinton, Nicolo Michelusi

TL;DR本文提出一种称作 TT-HF 的半分散式学习结构，将常规的设备与服务器的通信范例与设备对设备的通信（D2D）结合起来，通过本地集群内的合作分布式 D2D 通信进行模型训练，利用新的渐进上界控制算法平衡步长、通信轮数和全局聚合周期来追求亚线性的渐进收敛率 O (1/t) 及尽量减少网络资源利用，而实验结果表明，TT-HF 在各种本地设备数据集统计异质性场景下，在模型精度和 / 或网络能耗方面均明显优于当前固有的联邦学习方法，对于由于信道衰落造成的中断以及非凸失真函数，TT-HF 的数值测试都表现良好。

Abstract

federated learning has emerged as a popular technique for distributing machine learning (ML) model training across the wireless edge. In this paper, we propose two timescale hybrid federated learning (TT-HF), a <

federated learning semi-decentralized learning architecture device-to-device communication convergence bounds adaptive control algorithm

发现论文，激发创造

联邦学习超越明星：基于全局集群采样的本地 D2D 模型一致性

本文提出两时间尺度的混合联邦学习，通过设备到设备通信，从星型拓扑迁移到更分布式的拓扑结构。使用两个时间尺度进行同步，进行全局聚合和本地聚合，通过理论分析得出 O（1 /t）收敛率的条件。实验结果表明，TT-HF 在联邦学习基线的收敛和利用方面的改进。

Sep, 2021

大规模 D2D - 启用的边雾网络上的多阶段混合联邦学习

本研究提出了一种基于多层聚类结构的分层式多阶段混合联邦学习方法，考虑了设备到设备通信，通过多圆形层次结构实现多阶段参数中继和局部同意来更新模型参数并与分布式控制算法协同运行，具有优越的资源利用率和收敛性能。

Jul, 2020

基于无线 D2D 网络的分散联邦学习

本文提出了一种在无线边缘设备间通过分布式学习模型的联合训练方式，使用 Decentralized Stochastic Gradient Descent 协议实现设备间协同训练，通过适应路径损耗、衰落、阻挡和干扰等因素的技术，在物理层上利用稀疏基础恢复实现了无线波传输和计算的处理。

Feb, 2020

异构通信阈值下的去中心化事件触发联邦学习

本文介绍了一种用于分布式模型聚合的新方法，旨在处理分散式 Federated Learning 中的去中心化问题。方法采用异步、事件触发的共识迭代实现模型的分布式聚合，并通过异构通讯事件阈值权衡本地模型参数的变化，达到每次迭代的聚合收益最大化。理论上分析表明，该方法在分布式学习和图形共识文献中的标准假设下实现了全局最优学习模型的渐近收敛，而不需要对底层拓扑连接性有任何限制。相关数值结果表明，该方法相对于 FL 基线获得了大幅的通信要求改进。

Apr, 2022

面向异构边缘 / 雾网络的协作联邦学习

提出一种合作的边缘 / 雾设备机器学习范例 — 合作联邦学习 (CFL)，通过设备之间和设备与服务器之间的协作，实现模型 / 数据 / 资源池化机制，以解决边缘 / 雾网络中网络异构性问题，提高机器学习模型的质量和网络此消耗。同时，该范例还支持无标签数据和异构设备隐私等新功能。

Mar, 2023

受能量和延迟约束的自适应分散式联邦学习

在分布式学习中，为了解决参数聚合带来的通信开销和单点故障问题，本论文研究了如何有效利用有限资源以提高模型性能。我们通过优化本地训练轮次的数量和节能聚合方案，提出了一个解决方案，该方案在不同设备上实现了更好的性能表现，并消耗比传统聚合方案更少的能量。

Mar, 2024

异构去中心化联邦学习下的拓扑学习及不可靠的 D2D 网络

在无线设备到设备（D2D）网络中，去中心化联邦学习（DFL）作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习（CFL）降低了由于通信瓶颈而导致的中央服务器故障的风险。然而，DFL 面临着许多挑战，如多样环境中数据分布的严重异质性，以及 D2D 网络中采用用户数据报协议（UDP）导致的传输中断和包错误等。为了解决这些挑战，我们对 DFL 进行了全面的理论收敛性分析，并推导出一个收敛限。在该收敛限中，我们定义了一种称为不可靠链路感知邻域差异的新颖量，并制定了一个可解的优化目标，开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法，命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性，实验结果与我们的理论发现相一致，显示出了提高收敛速度和测试精度。

Dec, 2023

基于无线设备间网络的联邦学习算法与收敛分析

该研究探讨了基于设备对设备（D2D）网络的联邦学习，在分布式随机梯度下降算法实现中，利用随机线性编码和空中计算的数字和模拟传输方案进行通信效率的改进，并且在假设凸性和连通性的情况下提供了收敛性结果。

Jan, 2021

合作边缘网络下的联邦学习设备采样和资源优化

通过智能设备采样和设备之间的数据卸载，优化联邦学习的训练准确性以及数据处理和设备通信资源的消耗。通过图卷积网络学习网络属性、采样节点和设备之间的数据卸载之间的关系，该方法优于现有的文献中的设备采样方法。

Nov, 2023

异构联邦学习中的设备采样：理论、算法和实现

本文提出了一种基于设备采样和设备到设备卸载组合优化的联邦学习优化算法，通过优化采样节点和数据卸载配置来最大化 FedL 训练的准确性，有效提高了训练模型的准确性和资源利用率。

Jan, 2021