探索分离联邦学习的隐私 - 能源消耗平衡
本研究介绍一种名为 Split-fed learning (SFL) 的新颖算法,它将 Federated learning (FL) 和 Split learning (SL) 相结合,解决了它们各自固有的缺点,并增强了数据隐私和模型鲁棒性。SFL 具有比 SL 更短的计算时间,并具有与 SL 相似的测试准确性和通信效率,非常适用于资源受限的环境中。
Apr, 2020
通过模型分割和客户端模型聚合,我们提出了一种适应资源受限边缘计算系统的新型资源自适应分割联邦学习(AdaptSFL)框架,以加速分割联邦学习并实现更好的训练性能。
Mar, 2024
分析了分布式机器学习中的深度分裂学习及其对通信链路中数据丢失的鲁棒性,验证了不同分裂点对最终模型准确性的统计显著差异,为分布式机器学习的发展提供了重要洞察。
Jul, 2023
使用分层分割联邦学习算法,结合边缘和云端阶段的模型聚合来降低计算和通信开销,实现提高隐私保护并优化移动边缘计算中的内容传递速度和移动服务质量。
Jan, 2024
提出了一种新颖的拆分联邦学习(SFL)框架,它通过将具有不同计算资源的客户端配对,将神经网络模型逻辑分为两部分,每个客户端只计算分配给它的部分,从而显著提高了联邦学习的训练速度,并在独立相同分布(IID)和非 IID 数据分布中实现了高性能。
Aug, 2023
通过在线知识蒸馏使用对比损失的新方法,保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征,并将平均最后隐藏层激活的特征表示发布到中央服务器,然后客户端使用对比目标在其个人模型中蒸馏其知识,从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用,本框架在多个数据集上使用不同的模型架构进行了性能基准测试。
Nov, 2022
本文首次对 SplitFed 的强韧性进行了实证分析,结果表明 SplitFed 在面对模型毒化攻击时降低精度的程度是 Federated Learning 的 1/5,这是由于 SplitFed 具有较小的维度和更高的抗攻击能力。
Dec, 2022
提出了 MiniBatch-SFL 算法,通过将模型在切割层处分为两部分,在减轻客户端设备的计算负载的同时解决了分布式学习中的客户端偏移问题。实验证明,相对于传统的 SFL 和 FL 方法,MiniBatch-SFL 在高度非独立同分布数据上的准确性提升分别可达 24.1% 和 17.1%。
Aug, 2023
对于高度异构的数据,在并行联邦式 DE in the literature, and this paper aims to fill this gap. The analysis of SFL can be more challenging than that of federated learning (FL), due to the potential dual-paced updates at the clients and the main server. We provide convergence analysis of SFL for strongly convex and general convex objectives on heterogeneous data.
Feb, 2024