并行分割学习的工作流优化
多跳并行分裂学习(MP-SL)是一个模块化且可拓展的机器学习作为服务(MLaaS)框架,旨在促进资源受限设备参与分布式协作的机器学习模型训练,通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练,以减轻计算节点的内存需求,具有处理系统异构性的能力,尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
Jan, 2024
本文介绍了一种模型分区 / 切割的方法,将深度神经网络切分为两个部分,分别在设备和服务器上进行联合训练和联合推理,旨在通过交替优化解决划分点选择和带宽分配问题,以最小化系统的延迟
Oct, 2023
本文提出了一种混合联邦分裂学习框架来利用联邦学习与分裂学习的优势,在无线网络中将多工器并行更新和灵活的分裂相结合,并采用预测生成对抗网络算法对多目标优化进行求解。实验结果表明,该算法在找到帕累托最优解方面优于其他算法,并且所提出的 HFSL 的解支配 FL 的解。
Sep, 2022
该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能,并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现,同时还提出实用技巧来大幅减少通信开销。
Mar, 2021
使用边缘计算和分段学习相结合的模型分割允许 FL(SFL)框架,以缓解在使用联邦学习(FL)训练深度神经网络(DNNs)时客户端面临的计算能力短缺问题,并旨在通过最小化训练延迟而不损失测试准确性。
Jul, 2023
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
我们设计了一种自适应分裂学习(ASL)方案,该方案可以在无线边缘网络中为设备动态选择分裂点并为服务器分配计算资源,以减少训练延迟和能量消耗。采用在线算法 OPEN 和两层优化方法解决优化问题,该方案相比现有的分裂学习方案,平均减少了 53.7% 的训练延迟和 22.1% 的能量消耗。
Mar, 2024
边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习(MTSL)框架,结合了分割学习(SL)的优点和分布式网络架构的灵活性,以实现高效处理异构数据源的多任务学习,具有快速收敛、低通信成本和对异质数据的鲁棒性等优势。
May, 2024
通过模型分割和客户端模型聚合,我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习(AdaptSFL)框架,以加速分割联邦学习并实现更好的训练性能。
Mar, 2024
本研究提出了一个新颖的多工作联邦学习框架,通过智能调度方法实现了分散数据的并行训练过程,实验证明相比基线方法,其训练时间更快(最高可达 12.73 倍)且准确率更高(最高 46.4%)。
Nov, 2022