U 形并行分布学习的资源优化分配
我们设计了一种自适应分裂学习(ASL)方案,该方案可以在无线边缘网络中为设备动态选择分裂点并为服务器分配计算资源,以减少训练延迟和能量消耗。采用在线算法 OPEN 和两层优化方法解决优化问题,该方案相比现有的分裂学习方案,平均减少了 53.7% 的训练延迟和 22.1% 的能量消耗。
Mar, 2024
本论文提出了基于 U 型分割学习的协议,可以在同态加密的数据上进行操作,从而保护用户隐私,并通过实验结果表明,在 U 型分割学习模式中使用同态加密只会将准确率降低 2.65%,同时保护了原始训练数据的隐私。
Sep, 2023
多跳并行分裂学习(MP-SL)是一个模块化且可拓展的机器学习作为服务(MLaaS)框架,旨在促进资源受限设备参与分布式协作的机器学习模型训练,通过将模型分割为多个部分并利用多个计算节点以流水线方式进行训练,以减轻计算节点的内存需求,具有处理系统异构性的能力,尤其在涉及成本更低效的计算节点的场景中比水平扩展的单跳并行分裂学习设置更高效。
Jan, 2024
本文主要介绍了在 6G 移动网络时代,如何将分布式边缘计算资源与联邦学习相结合,并引入分裂学习以处理海量资源受限的物联网设备,重点讨论边缘分裂学习及其在多边缘协作与移动管理中的设计问题与待解决的开放性问题。
Jun, 2023
在物联网领域,部署深度学习模型来处理由物联网设备生成或收集的数据是一个重要的挑战。为了解决这些挑战,我们提出了一种创新的边缘辅助 U 形拆分联邦学习(EUSFL)框架,利用边缘服务器高性能的能力来辅助物联网设备进行模型训练和优化过程。在这个框架中,我们利用联邦学习使数据持有者能够在不共享数据的情况下协作训练模型,从而通过仅传输模型参数来增强数据隐私保护。此外,通过在物联网设备上进行局部训练,我们基于拆分学习将神经网络分成三个部分。通过利用边缘服务器更强的计算能力,我们的框架有效地减少了整体训练时间,使不同能力的物联网设备能够高效地执行训练任务。此外,我们提出了一种新颖的名为 LabelDP 的噪声机制,以确保数据特征和标签能够安全地抵抗重建攻击,消除隐私泄露的风险。我们的理论分析和实验结果表明,EUSFL 可以与各种聚合算法集成,在不同的物联网设备计算能力下保持良好的性能,并显著减少了训练时间和本地计算开销。
Nov, 2023
该论文研究了如何通过拆分神经网络模型并进行任务分配和调度决策来实现减少训练时间的目标,并提出了一种基于对称性的问题分解解决方法和一种可扩展的解决方法。通过数值评估,证明该策略能够找到接近最优解,并且使训练时间比基准方案缩短 52.3%。
Feb, 2024
提出了 SDAR,这是一个针对 Split Learning 的新型攻击框架,利用辅助数据和对抗正则化来学习客户端私有模型的具有解码能力的模拟器,在标准 Split Learning 下有效地推断客户端的私有特征,在 U 形 Split Learning 下推断特征和标签。该攻击方法在实验验证中达到了与主动攻击相当的效果,尤其在现有被动攻击难以重构客户端私有数据的挑战性实际场景中,SDAR 在深度分割级别为 7 的 CIFAR-10 数据集上,在标准和 U 形 Split Learning 下实现了私有特征重构时的均方误差小于 0.025 的结果,并在 U 形设置中达到了超过 98% 的标签推断准确率,而现有攻击方法未能产生重要结果。
Oct, 2023
我们提出了一种创新的方法,旨在协调 Open Radio Access Network(O-RAN)中的多个独立 xAPPs,以实现网络切片和资源分配,并优化用户设备(UE)之间的加权吞吐量和物理资源块(PRB)的分配。通过设计 power control xAPP 和 PRB allocation xAPP,我们的方法通过监督学习和无监督学习的组合实现了高效的网络切片问题解决方案。与其他方法相比,我们的方法在不同场景中展现出更高的性能和效果。
Jan, 2024
使用分层学习 (SL) 和同态加密 (HE) 的混合方法在 MIT-BIH 数据集上提供了更快的训练时间 (大约是其他基于 HE 的方法的 6 倍) 和显著减少的通信开销 (几乎是其他方法的 160 倍),从而为深度学习中的敏感数据提供了更好的隐私保护。
Aug, 2023
通过模型驱动的强化学习方法,该研究在边缘计算环境中最优化部署大型语言模型,提高隐私和计算效率,减少计算成本,并在分散式环境中实现了推理性能和计算负载的平衡。
Jun, 2024