受能量和延迟约束的自适应分散式联邦学习
在高度普及的边缘场景中,缺乏中央控制器和预定的设备连接导致了复杂的网络结构,我们提出了一种通信高效的分散式联邦学习(DFL)算法来解决由数据和不同训练历史引起的异构学习难题,研究结果表明,与竞争方法相比,我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。
Dec, 2023
研究了基于无线通信网络的联邦学习中的能源有效传输和计算资源分配问题,并提出了一种迭代算法,以解决此优化问题,并通过数值结果表明了该算法相对于传统 FL 方法可将能源消耗降低高达 59.5%。
Nov, 2019
通过将学习模型分为全局部分和个性化部分,以实现模型剪枝和个性化,本文提出了一种解决异构设备数据、计算和通信延迟以及非独立同分布数据的联邦学习框架,并通过数学分析研究了其收敛性、计算和通信延迟,并最终通过优化问题得到了剪枝比例和无线资源分配的闭式解。实验结果表明,相比只进行模型个性化的方案,该框架能够显著减少约 50%的计算和通信延迟。
Sep, 2023
本文针对数据异构性与无线资源分配相结合的无线联邦学习问题,提出了性能分析与优化的方法,在考虑数据异构性的同时,优化客户端调度、资源分配和本地训练轮数,通过实验验证了该算法在学习准确性和能量消耗方面的优势。
Aug, 2023
本文提出了两种基于去中心化的联邦学习聚合方法 —— 可交换联邦学习、交替式联邦学习,用于解决现有模型机器学习模型在无人机领域数据隐私、通信成本、以及能源等方面存在的问题,通过控制本地训练轮数、本地通信以及全局通信的方式,可有效地控制能源消耗和通信成本,模拟结果表明该方法在运行稳定性、能源消耗和通信成本等方面优于现有的基准方法。
Apr, 2023
提出了一种新颖的 DA-DPFL 稀疏到更稀疏的训练方案,通过动态聚合逐渐减少模型参数,从而在保留关键学习期间的足够信息的同时实现了能耗大幅降低,并在测试准确性上明显优于 DFL 基准。
Apr, 2024
在无线设备到设备(D2D)网络中,去中心化联邦学习(DFL)作为智能移动设备普及的产物引起了极大的兴趣。DFL 相对于集中式联邦学习(CFL)降低了由于通信瓶颈而导致的中央服务器故障的风险。然而,DFL 面临着许多挑战,如多样环境中数据分布的严重异质性,以及 D2D 网络中采用用户数据报协议(UDP)导致的传输中断和包错误等。为了解决这些挑战,我们对 DFL 进行了全面的理论收敛性分析,并推导出一个收敛限。在该收敛限中,我们定义了一种称为不可靠链路感知邻域差异的新颖量,并制定了一个可解的优化目标,开发了一种考虑 DFL 中表示差异和不可靠链路的拓扑学习方法,命名为 ToLRDUL。在特征偏斜和标签偏斜的情况下进行了大量实验验证了我们提出方法的有效性,实验结果与我们的理论发现相一致,显示出了提高收敛速度和测试精度。
Dec, 2023
提出一种采用分布式训练(DFL)的通用分散式最随机梯度下降(SGD)框架,它可以解决在多个节点中进行通信和本地更新的平衡,具有压缩通信和强收敛保证的特点。
Jul, 2021
本文以联邦学习为背景,提出一种联合带宽分配和设备调度问题的解决方案,该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现,从而在模型精度和训练时间预算方面实现了最好的性能表现。
Nov, 2019