6G 边缘网络中的分布式学习
本文介绍了一种模型分区 / 切割的方法,将深度神经网络切分为两个部分,分别在设备和服务器上进行联合训练和联合推理,旨在通过交替优化解决划分点选择和带宽分配问题,以最小化系统的延迟
Oct, 2023
本文介绍了联邦学习技术与移动边缘计算的应用,讨论了在大规模和复杂的移动边缘网络中实现联邦学习所面临的挑战以及现有解决方案,探讨了联邦学习在移动边缘网络优化中的应用,以及未来的研究方向与挑战,包括保护隐私与安全。
Sep, 2019
本文研究如何通过三个方面的优化措施 —— 激励机制设计、网络资源管理和个性化模型优化,有效解决分布式人工智能范例中面临的系统和统计异构挑战,从而实现对第六代网络中亿万智能物联网设备所产生数据的联合学习和隐私保护。
Mar, 2023
该论文在实际物联网设置中比较了联邦学习、分裂学习和分裂联邦学习的性能,并提出了一种广义分裂联邦学习模型来进一步优化在大规模 IoT 设备上的系统表现,同时还提出实用技巧来大幅减少通信开销。
Mar, 2021
本文探讨了边缘机器学习的关键构建块,神经网络架构的不同分裂及其内在的权衡,以及来自广泛数学学科的理论和技术促进因素,最终呈现了几个关于各种高风险应用的案例研究,展示了边缘机器学习在发挥 5G 及其以后的全部潜力方面的有效性。
Dec, 2018
在物联网领域,部署深度学习模型来处理由物联网设备生成或收集的数据是一个重要的挑战。为了解决这些挑战,我们提出了一种创新的边缘辅助 U 形拆分联邦学习(EUSFL)框架,利用边缘服务器高性能的能力来辅助物联网设备进行模型训练和优化过程。在这个框架中,我们利用联邦学习使数据持有者能够在不共享数据的情况下协作训练模型,从而通过仅传输模型参数来增强数据隐私保护。此外,通过在物联网设备上进行局部训练,我们基于拆分学习将神经网络分成三个部分。通过利用边缘服务器更强的计算能力,我们的框架有效地减少了整体训练时间,使不同能力的物联网设备能够高效地执行训练任务。此外,我们提出了一种新颖的名为 LabelDP 的噪声机制,以确保数据特征和标签能够安全地抵抗重建攻击,消除隐私泄露的风险。我们的理论分析和实验结果表明,EUSFL 可以与各种聚合算法集成,在不同的物联网设备计算能力下保持良好的性能,并显著减少了训练时间和本地计算开销。
Nov, 2023
多跳并行分裂学习(MP-SL)是一个模块化且可拓展的机器学习作为服务(MLaaS)框架,旨在促进资源受限设备参与分布式协作的机器学习模型训练,通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练,以减轻计算节点的内存需求,具有处理系统异构性的能力,尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
Jan, 2024
本文通过在大量物联网和边缘设备网络上系统地进行广泛实验,重点关注异构情况,以探究在设备上实施联合学习的可行性,并呈现了其现实世界的特征,包括学习性能和操作成本,为研究人员和从业者提供有价值的见解,促进联邦学习的实用性,并帮助改进现有的联邦学习系统设计。
May, 2023
通过网络设计和资源编排的两个方面讨论了实现可扩展无线联邦学习的挑战和解决方案,并提出了三种面向任务的学习算法来提高算法的可扩展性,实现对无线联邦学习的计算高效资源分配。
Oct, 2023
通过模型分割和客户端模型聚合,我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习(AdaptSFL)框架,以加速分割联邦学习并实现更好的训练性能。
Mar, 2024