当 MiniBatch SGD 遇上 SplitFed Learning:收敛性分析与性能评估
对于高度异构的数据,在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.
Feb, 2024
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法,它将 Federated learning (FL) 和 Split learning (SL) 相结合,解决了它们各自固有的缺点,并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间,并具有与 SL 相似的测试准确性和通信效率,非常适用于资源受限的环境中。
Apr, 2020
分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性,验证了不同分裂点对最终模型准确性的统计显著差异,为分布式机器学习的发展提供了重要洞察。
Jul, 2023
本文提出了一种可扩展的拆分学习框架 SGLR,采用广播机制模仿 FL 且支持并行操作,并能在保证数据隐私的前提下,获得比 SplitFed 更高的准确率和较少的敏感信息泄露。
Dec, 2021
通过模型分割和客户端模型聚合,我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习(AdaptSFL)框架,以加速分割联邦学习并实现更好的训练性能。
Mar, 2024
在资源受限环境中,通过介绍聚类正则化和全局更新频率适应的控制算法,我们提出了一种新的训练模型系统,用于解决联合学习中的数据非独立同分布和模型收敛性问题,该系统在减少训练时间和通信成本的同时提高了准确性。
Jul, 2023
提出了一种新的 SFL 框架 ——MergeSFL,通过结合特征合并和批量大小调节来解决统计异质性和系统异质性带来的挑战,从而提高 SFL 的性能。在 80 个 NVIDIA Jetson 边缘设备上进行了广泛实验,实验结果显示,与基准结果相比,MergeSFL 可以提高最终模型的准确性 5.82% 至 26.22%,并加速 1.74 倍至 4.14 倍。
Nov, 2023
本文首次对 SplitFed 的强韧性进行了实证分析,结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5,这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。
Dec, 2022
由于资源约束场景的优势,分割联邦学习(SFL)在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题,本文提出了一种名为滑动分割联邦学习(S^2FL)的新型 SFL 方法,该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结果表明,与传统的 SFL 相比,S^2FL 的推断准确性提高了 16.5%,训练加速了 3.54 倍。
Nov, 2023
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023